机械之心编纂部

在大模型「卷生卷死」的今天，各人似乎已经习惯了模型在各大榜单上刷出逼近满分正确率。然而，在一项名为 ARC-AGI-3 的基准测试中，堪称当下「最红炸子鸡」的两款顶尖模型 ——OpenAI 的 GPT-5.5 和 Anthropic 的 Claude Opus 4.7，却双双「折戟」……

近日，ARC Prize 官方颁布了针对这两款顶级模型的具体分析汇报，了局令人震惊
：在面对未见过的逻辑工作时，两者的阐发得分均低于 1%，GPT-5.5 得分 0.43%，Claude Opus 4.7 得分 0.18%。

这意味着，即便占有千亿级参数和近乎无限的算力，这些模型在处置「全新逻辑环境」时的阐发，甚至不如一个 6 岁的儿童。

这是怎么一回事？？

ARC-AGI-3
：智能的「真伪试金石」

为了更好理解这一成就，首先我们来相识一下 ARC-AGI-3，这是由 Keras 之父 Fran?ois Chollet 缔造的基准测试系列的最新一代，于今年 3 月散布。

Fran?ois Chollet 其时称，当一个 AI 系统在初次接触所有环境时，其行动效能可能达到或超过人类水平，才算真正「攻克」ARC-AGI-3。

而凭据团队进行的大量的人类测试了局来看
：在没有任何先验训练、没有任何注明的情况下，人类在第一次接触时能够 100% 解决这些环境中难题，与此同时，目前所有前沿的 AI 推理模型在这一测试上的阐发都低于 1%。

彼时，OpenAI 的 GPT-5.5 和 Anthropic 的 Claude Opus 4.7 还没有颁布，如今来看，这两个模型也同样难逃这一了局。

具体来看，ARC-AGI-3 是由 135 个全新环境组成的测试集，每个环境都由人类手工设计，用来测试模型面对「未知」的能力。

对于测试者来说，无论人类还是 AI，进入环境中将不会获得任何的玩法注明，要前进，获得进展，必须做到以下几点
：

索求未知界面 ；；；从稀少反馈中揣度规定（构建世界模型） ；；；提出并验证如果 ；；；从谬误中复原 ；；；将经验迁徙到下一关（持续学习）。

每个环境的构定都不足模型通常依赖的文化知识，只保留「抽象推理能力自身」。

换句话说，能够把 ARC-AGI-3 理解为，一个在「新鲜性、
：、规划、适应性」上的最低共同测试集中，而这些，正是现实世界工作对智能体的主题要求。因而，ARC-AGI-3 也被公以为目前最靠近「人类智能性质」的测试。

顶尖模型纷纷「失利」背后的三大失败模式

这次，GPT-5.5 和 Claude Opus 4.7 的阐发得分均低于 1% 的成就固然令人「心痛」，但比起成就，知晓背后的失败原因似乎更重要。

ARC Prize 钻研团队通过度析 160 组齐全运行轨迹，蕴含模型的每一步操作和推理过程，总结出了导致模型「崩！！！沟娜笾魈馐О苣Ｊ
：

一、真实的部门反馈，虚伪的世界模型

模型可能理解哪一步作为产生了变动（部门反。，但无法将这种因果效应转化为一套通用的全局规定。

这是一个最为显著的原因。好比，在一个必要旋转物体以匹配插槽的工作中，模型可能鉴别出「我按下这个键，物体能够旋转」这一部门法规，但它无法将此逻辑上升为全局指标，进一步推理出
：「旋转会影响了局，因而我必要在行动前调整物体方向以匹配指标！！！

换句话说，模型失败不是由于它们「看不见」，而在于无法把观察的事物整合成一个齐全的世界模型。

比例，Claude Opus 4.7 在运行工作 「cd82」 时，在第 4 步已经意识到执行 「ACTION3」 能够旋转容器，随后在第 6 步也观察到执行 「ACTION5」 能够倾倒或蘸取油漆。然而，它始终无法将这些碎片化的认知转化为一个齐全的逻辑战术，即「先调整桶的方向，而后再蘸取油漆，以还原左上角的指标图像」。

Claude Opus 4.7 理解 ACTION3 旋转物体，但未能理解游戏的概念。

或者在职务 「cn04」 中，Claude Opus 4.7 固然发现了一个成功的「旋转后搁置」交互逻辑（这是正确的如果，见第 23 步），但随后却陷入了追求「整体状态重叠」的误区（谬误如果），并为了追求「顶前进度」的假象而偏离了指标（见第 60 步）。

二、被训练数据「绑架」的抽象思想

模型对当前环境产生了误判，由于受到训练数据的影响，它们会将一个全新的「ARC-AGI-3」工作误以为是在玩另一种已知的游戏。

这种失败模式源于模型对训练数据的「谬误抽象」，在屡次运行中，模型反复尝试通过将其映射到已知游戏来诠释陌生的机制，这些游戏蕴含
：「俄罗斯方块」「田鸡过河」「推箱子」「粉末游戏」「填充色彩」「打砖块」等。

固然从主题先验知识中提取抽象概念在理论上有助于解决问题，但这些来自训练数据的字面类比反而「绑架」了模型的作为选择，从而演造成
：部门视觉类似、导致被误以为齐全的游戏规定、行动方向被带偏。

好比，在职务 「cd82」 中，GPT-5.5 的思想被锚定在了流沙、物理仿照或 「填充色彩」的游戏机制上；；；而在职务 「ls20」 中，它将本应是按键组合的逻辑误判为了「打砖块」。

三、通关了关卡，却没学会规定

模型幸运通过了某个特定关卡，却无法利用那个成功的嘉奖信号来强化并执行正确的后续操作。这注明，「通关并不等于理解」。

Claude Opus 4.7 的两次纪录很好地说了然这一点。

在职务「ka59」中，Claude Opus 4.7 用 37 步实现了 Level 1，但它对「点击」这一操作的理解其实是谬误的 —— 它以为点击是在「传送当前角色」。固然了局看起来像是一次干净利落的成功，但性质上只是对底层机制的误读，刚好碰上了一个比力宽容的关卡。

因而，当进入 Level 2，必要真正的机制（状态匹配与推动）时，Opus 将这种谬误理解进一步固化为「点击每个指标来填充它」，了局可想而知，整个过程彻底偏离、崩溃，且无法复原。

Opus 4.7 正在运行工作 「ka59」，陷入了「盲目点击（Click-fishing）」的死循环，游戏得分
：2.04%。

在「ar25」工作中也是如此。Opus 在 Level 1 通过对「镜像移动」的正确解读成功通关（见第 4 步）；；；随后在 Level 2，它现实上已经发现了新的「可移动轴」机制（见第 227 步），但紧接着它又陷入了幻觉，起头臆想出诸如「打孔」或「必要翻转」等并不存在的规定。

在这两种情况下，Level 1 的成功覆盖了模型对底层机制的缺失或扭曲，这种「部门成功」反而为谬误的 Level 2 战术提供了一个看似自负的支持框架。

这也注明，早期关卡的推动并不能靠得住反映模型是否真正理解了工作。若是没有明确检验模型「为什么能过关」，它就会把谬误的认知带入下一关，并在此基础上不休放大误差。

GPT-5.5 vs Opus 4.7
：分歧的「翻车」姿势

有意思的是，固然 GPT-5.5 和 Opus 4.7 的得分成就都不尽如人意，但钻研团队通过对比两者的运行纪录发现，它们的失败方式齐全分歧。

单一来说就是，Claude Opus 4.7 的问题是「压缩错了」，而 GPT-5.5 的问题则在于「压缩不了」。

具体来看，Opus 4.7 在短周期的机制发现方面阐发更强。例如在职务「ar25」中，它险些立刻鉴别出镜像结构，并顺利通过 Level 1；；；在职务「ka59」中，即便世界模型并不齐全，它也能读出「双角色、双指标」的布局，并实现较短的 Level 1 操作序列。

但问题在于，它也更容易抓住一个谬误的「恒定特点」，并坚定执行下去。

好比在职务「cn04」中，它构建了一套「进度 / 计时 / 转换」的谬误理论，并在这一如果下不休尝试操作（第 60 步）。它的确形成了一套「可运行的诠释」，只是这套诠释是错的。

GPT-5.5 则是另一个极端。它的「如果天生」更宽泛，这使得它更有可能说出正确的思路，但同时也更难将其转化为具体行动。

好比在职务「ar25」中，它鉴别出了镜像效应，但不休重新打开「可能的游戏类型空间」，在「俄罗斯方块」「田鸡过河」「乒乓球」「汉诺塔」之间反复横跳，始终无法坚定地执行镜像逻辑。而在职务「ka59」中，它也构建出了正确的对象结构 —— 两个指标概括和一个可切换的第二角色 —— 但始终没有真正执行这一理解。

换句话说，Claude Opus 4.7 有点像「过度自负的直觉主义者」，GPT-5.5 则像「思想发散的理论家」。

而归根结底，两者之间的这种差距在于「压缩」能力的区别
：Claude Opus 4.7 将观察压缩成了一个「自负但谬误」的理论，而 GPT-5.5 则险些无法实现压缩，始终停顿在分散的可能性之中。

不得不说，这次 Claude Opus 4.7 和 GPT-5.5 双双在 ARC-AGI-3，这一堪称目前最靠近「人类智能性质」的测试上的低分阐发，揭示了一个事实
：AGI 之路「道阻且长」啊。

你呢，若何对待 AI 的这一成就？？欢迎在评论区留言、互换！！！

https://x.com/fchollet/status/2050328852107612559

https://arcprize.org/blog/arc-agi-3-gpt-5-5-opus-4-7-analysis

https://x.com/GregKamradt/status/2050262126120632554