火星网校
大跌眼镜！GPT-4V错觉挑战实录：该错的没错，不该错的反而错了
发布时间：2023-11-06 11:03:14 浏览量：103次
顺便进来考考咱自个儿的眼力
丰色 发自 凹非寺
|
GPT-4V挑战视觉错误图，结果令人“大跌眼镜”。
像这种判断“哪边颜色更亮”的题，一个没做对：
读图片中隐藏信息的也傻傻看不出，怎么问都说“没有啊”：
但是呢，这种人类乍一看绝对会错的图，它又成功答对：
以及这样的错位图，它对了又没完全对。。
（GPT-4V直接看出来头盔是位于男的大腿上的，没有女的，但它还是表示图里有俩人，另一个躲在男的身后戴着那顶头盔==）
看完这些，是不是觉得很迷？
整个一“该对的不对，该错的又对了”。
测试者则表示：
在测之前，他以为GPT-4V对这种挑战完全不在话下，谁知结果竟是这样。
不止是他，网友也都不理解GPT-4V作为一个“精准的”AI系统，按理很智能，为什么还会犯和人类一模一样的错觉？？！
所以，这到底怎么回事？
GPT-4V五大错觉挑战
下面是来自网友的更多测试案例。
首先是次次都错误的颜色错觉题。
（1）除了开头的两颗小树图，还有这个：
问它哪边的绿色更亮一些，果不其然还是左边亮，右边暗，实际明明都一样。
（2）还有这张稍微复杂一点的：
两只眼睛其实都是灰色，但让GPT-4V来描述图像时，它回答一只为蓝色，另一只做了灰度处理，无法得知颜色。
（3）这张就更别提了，直接被糊弄地死死的。
当然，这确实很难，大部分人类也识别不出来所有的球其实都是棕色。
其次是会产生动态错觉的图。
（1）有一点意外，当我们问GPT-4V“你看见了什么？描述细节”时，它直接挑明了这是一张看久了就会让人产生眩晕感的错觉图，本质就是一些波浪线而已。
（2）这张也没有难倒它。
但奇怪的是问它图中有几种颜色，它怎么都只能识别出黄色和蓝色，看不到黑色和白色。
接下来是另一类比较平面的错觉图。
（1）如开头所示的这张：
一般人类真的表示很懵圈，但是GPT-4V居然对了。
But，别急！！有人拿着测试者的图去问“自己的”GPT-4V，让它再检查一下时，它居然改变了答案。
然而还没完。评论区惊现套娃操作，有人又拿着这俩人的对话图再问GPT-4V，您猜怎么着？它又改回去了。。
大伙可是玩上瘾了，又是一次又一次套娃。好在最终GPT-4V坚持了己见。
总的来说，对于这种错觉陷阱是完全没问题。
（2）我们自己也测了一个长度错觉题：
结果是so easy～
再来一组找隐藏信息的图。
很遗憾，这种对于人类来说真的还算轻松的题，GPT-4V是一点也搞不定。
（1）先看这张，“远看”可以看到“NYC”三个大写字母。但它描述了一堆有的没的，就是表示没发现任何隐藏信息。
（2）如果说上门这个有点隐晦，看不出也罢。但对于这种图形隐藏，它也不行。
它描述到的只有其中的小女孩，即使测试者让它“往远了看，又没有新发现”，也无济于事。
不过，如果我们把这张图片手动缩小再丢给它，它行了，看到了骷髅。
最后是一组真实世界的错位图。
（1）除了开头展示的人骑摩托，这张小猫“悬浮”，它居然对了。
（2）这张惊悚图，也OK。
（3）但这个就失败了，实际后面是一只狗和小baby的重合，它认成法斗犬幼崽。
（4）至于这张，它压根儿就没提鞋子的事儿，说了也些不痛不痒的话。
为什么会这样？
所以，为什么会发生上面这些情况：有的错觉它可以识别出来，有的又表现得很差劲？
首先，对于颜色错觉的图，网友首先认为是提示词的问题。
就像两颗小树那张，我们问它“哪个更亮”，其实就是给了GPT-4V暗示或偏见，它会顺着咱的偏见来回答。
我们自己的测试也是如此：
但如果我们不带立场的问：图中两种颜色一样吗？它完全没问题。
不过，也有网友指出，当我们问它哪棵树更亮时，如果是非常严谨地对所有像素进行平均，GPT-4V的回答没有毛病。
甚至有网友还用测色计实测了一把：
但！又有人指出如果只显示一部分时，两者明明一样。
暂且不再争论这个问题，可以肯定的是，“提示词”的使用方法会对它的判断造成影响是没问题的。
另外，网友发现：
如果我们去追问GPT-4V，让它再仔细确认一下，它也能纠正回答。
至于无法识别远景图像的问题，有网友认为这可能是因为GPT-4V只会从左往右地读取图像。
而对于“为什么有时它会和人类一样发昏被错觉误导、完全不像个智能AI”的疑问，不少人则表示这毫不意外，是训练问题。
即大模型是根据人类数据、人的反馈、人的注释进行训练的，自然会产生和人一样的错误。
因此，还有人戏谑：
看来我们人类创造了那么多科幻作品，描述AI是如何冷酷、完美，但当现在我们真正拥有它时，发现它也不过如此。
（手动狗头）
你认为该如何让GPT-4V的错觉识别能力更强呢？
One More Thing
值得一提的是，我们也测试了其中的一些案例。
发现GPT-4V的表现不大一样，有些题它在“我们这里”是可以的。
比如这张判断球颜色的：
还有这个：
尽管把大图认成老女人而非骷髅，但还是表明它可以“远观” 的。
参考链接：
[1]https://twitter.com/fabianstelzer/status/1717131235644875024
[2]https://twitter.com/BeyondTodAI/status/1713279431681118557
[3]https://twitter.com/janbobrowicz/status/1717229335076393350
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
3. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
4. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
-
7. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
8. 10个建筑AI工具，从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
-
AI技术的快速发展为各行各业带来了许多创新应用,其中之一就是AI小说生成视频。这种技术利用人工智能算法和语言模型,将文本转化为视频剧情,加上配图、...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
最新文章
