巴蜀网

 找回密码
 免费注册

QQ登录

只需一步,快速开始

开启左侧
查看: 159|回复: 0
 右江 发表于: 2023-4-22 13:53:55|显示全部楼层|阅读模式

[2023年] 3天近一万Star,无差体验GPT-4识图能力,MiniGPT-4看图聊天、还能草图建网站

 [复制链接]
源自:机器之心Pro

  GPT-4 已经发布一个多月了,但识图功能还是体验不了。来自阿卜杜拉国王科技大学的研究者推出了类似产品──MiniGPT-4,大家可以上手体验了。
  对人类来说,理解一张图的信息,不过是一件微不足道的小事,人类几乎不用思考,就能随口说出图片的含义。就像下图,手机插入的充电器多少有点不合适。人类一眼就能看出问题所在,但对 AI 来说,难度还是非常大的。
0f6a-0d44a823b0f433526b6ef0ec176a43d1.png
  GPT-4 的出现,开始让这些问题变得简单,它能很快的指出图中问题所在:VGA 线充 iPhone。
  其实 GPT-4 的魅力远不及此,更炸场的是利用手绘草图直接生成网站,在草稿纸上画一个潦草的示意图,拍张照片,然后发给 GPT-4,让它按照示意图写网站代码,嗖嗖的,GPT-4 就把网页代码写出来了。
  但遗憾的是,GPT-4 这一功能目前仍未向公众开放,想要上手体验也无从谈起。不过,已经有人等不及了,来自阿卜杜拉国王科技大学(KAUST)的团队上手开发了一个 GPT-4 的类似产品──MiniGPT-4。团队研究人员包括朱德尧、陈军、沈晓倩、李祥、Mohamed H.Elhoseiny,他们均来自 KAUST 的 Vision-CAIR 课题组。
d19f-19db361d17d64926fe6e8a9250cdb19a.png


  •   论文地址:https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf
  •   论文主页:https://minigpt-4.github.io
  •   代码地址:https://github.com/Vision-CAIR/MiniGPT-4
  MiniGPT-4 展示了许多类似于 GPT-4 的能力,例如生成详细的图像描述并从手写草稿创建网站。此外,作者还观察到 MiniGPT-4 的其他新兴能力,包括根据给定的图像创作故事和诗歌,提供解决图像中显示的问题的解决方案,根据食品照片教用户如何烹饪等。
  MiniGPT-4 看图说话不在话下
  MiniGPT-4 效果到底如何呢?我们先从几个示例来说明。此外,为了更好的体验 MiniGPT-4,建议使用英文输入进行测试。
  首先考察一下 MiniGPT-4 对图片的描述能力。对于左边的图,MiniGPT-4 给出的回答大致为「图片描述的是生长在冰冻湖上的一株仙人掌。仙人掌周围有巨大的冰晶,远处还有白雪皑皑的山峰……」假如你接着询问这种景象能够发生在现实世界中吗?MiniGPT-4 给出的回答是这张图像在现实世界并不常见,并给出了原因。
308f-gifed5f76dd1f860eb42b80423ecce70214.gif
  接着,在来看看 MiniGPT-4 图片:问答能力。问:「这棵植物出现了什么问题?我该怎么办?」MiniGPT-4 不但指出了问题所在,表示带有棕色斑点的树叶可能由真菌感染引起,并给出了治疗步骤:
5fa4-gifd51df5633a4a88a2650719afa79551f4.gif
  几个示例看下来,MiniGPT-4 看图聊天的功能已经非常强大了。不仅如此,MiniGPT-4 还能从草图创建网站。例如让 MiniGPT-4 按照左边的草稿图绘制出网页,收到指令后,MiniGPT-4 给出对应的 HTML 代码,按照要求给出了相应网站:
2215-gif7283586f1fd5d519d7958a8650e1fb51.gif
  借助 MiniGPT-4,给图片写广告语也变得非常简单。要求 MiniGPT-4 给左边的杯子写广告文案。MiniGPT-4 精准的指出了杯子上有嗜睡猫图案,非常适合咖啡爱好者以及猫爱好者使用,还指出了杯子的材质等等:
a44a-gifc44bcea0441b94a706478544e03dba47.gif
  MiniGPT-4 还能对着一张图片生成菜谱,变身厨房小能手:
e577-gif074b51a361bad7bb6b4be7dc5eb54a34.gif
  解释广为流传的梗图:
d320-gif2f3ed5917c6293f9c350d08867218323.gif
  根据图片写诗:
3495-gif354a9d8b319c73beffefcbf7a30f8165.gif
  此外,值得一提的是,MiniGPT-4 Demo 已经开放,在线可玩,大家可以亲自体验一番(建议使用英文测试):
c367-41a07e63fb67bcb46939c5aa96a03fdf.png
  Demo 地址:https://0810e8582bcad31944.gradio.live
  项目一经发布,便引起网友广泛关注。例如让 MiniGPT-4 解释一下图中的物体:
ff41-0c195e713c4dda4a3f9761b38f716d06.png
  下面还有更多网友的测试体验:
55d4-db09245d7b561755a1015034613eaa53.png
c040-c51279914cbb0756e47ecab44d66bd08.png
  方法简介
  作者认为 GPT-4 拥有先进的大型语言模型(LLM)是其具有先进的多模态生成能力的主要原因。为了研究这一现象,作者提出了 MiniGPT-4,它使用一个投影层将一个冻结的视觉编码器和一个冻结的 LLM(Vicuna)对齐。
  MiniGPT-4 由一个预训练的 ViT 和 Q-Former 视觉编码器、一个单独的线性投影层和一个先进的 Vicuna 大型语言模型组成。MiniGPT-4 只需要训练线性层,用来将视觉特征与 Vicuna 对齐。
7797-f2f7d675a5df95d094174e20bb7e8975.png
  MiniGPT-4 进行了两个阶段的训练。第一个传统的预训练阶段使用大约 5 百万对齐的图像文本对,在 4 个 A100 GPU 上使用 10 小时进行训练。第一阶段后,Vicuna 能够理解图像。但是 Vicuna 文字生成能力受到了很大的影响。
  为了解决这个问题并提高可用性,研究者提出了一种新颖的方式,通过模型本身和 ChatGPT 一起创建高质量的图像文本对。基于此,该研究创建了一个小而高质量的数据集(总共 3500 对)。
  第二个微调阶段使用对话模板在此数据集上进行训练,以显著提高其生成可靠性和整体可用性。这个阶段具有高效的计算能力,只需要一张 A100GPU 大约 7分钟即可完成。
  其他相关工作:

  •   VisualGPT:https://github.com/Vision-CAIR/VisualGPT
  •   ChatCaptioner:https://github.com/Vision-CAIR/ChatCaptioner
  此外,项目中还使用了开源代码库包括 BLIP2、Lavis 和 Vicuna。
『 巴蜀网 』提醒,在使用本论坛之前您必须仔细阅读并同意下列条款:
  1. 遵守《全国人大常委会关于维护互联网安全的决定》及中华人民共和国其他各项有关法律法规,并遵守您在会员注册时已同意的《『 巴蜀网 』管理办法》;
  2. 严禁发表危害国家安全、破坏民族团结、破坏国家宗教政策、破坏社会稳定、侮辱、诽谤、教唆、淫秽等内容;
  3. 本帖子由 右江 发表,享有版权和著作权(转帖除外),如需转载或引用本帖子中的图片和文字等内容时,必须事前征得 右江 的书面同意;
  4. 本帖子由 右江 发表,仅代表用户本人所为和观点,与『 巴蜀网 』的立场无关,右江 承担一切因您的行为而直接或间接导致的民事或刑事法律责任。
  5. 本帖子由 右江 发表,帖子内容(可能)转载自其它媒体,但并不代表『 巴蜀网 』赞同其观点和对其真实性负责。
  6. 本帖子由 右江 发表,如违规、或侵犯到任何版权问题,请立即举报,本论坛将及时删除并致歉。
  7. 『 巴蜀网 』管理员和版主有权不事先通知发帖者而删除其所发的帖子。
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

© 2002-2024, 蜀ICP备12031014号, Powered by 5Panda
GMT+8, 2024-7-24 19:18, Processed in 0.577201 second(s), 10 queries, Gzip On, MemCache On
快速回复 返回顶部 返回列表