ARC-AGI 3 并非 AGI 的诚实衡量标准

我希望大家花点时间看一下这张图。ARC-AGI 3 故意不允许推理智能体在多次操作之间保持其上下文。这实际上是在让模型一次又一次地忘记它已经搞清楚的内容，然后给这个残缺版本打分，仿佛它代表了系统真正的智能。当 OpenAI 允许智能体保留其推理并压缩较旧的上下文——这正是现实世界前沿智能体的工作方式——它的得分几乎增至原来的三倍，同时使用的 token 数量却少得多。压缩是现实世界智能体运作方式的基本组成部分。人类同样会做笔记并保留所学到的东西。没有人会在每次行动后擦除一个人的记忆来测试他，然后声称结果反映了真实能力。事实是，ARC-AGI 3 并没有在衡量通用智能。在现实世界中，如果一个使用推理和压缩的智能体能够以与人类几乎相同的方式运作，那就可以被称为 AGI。现有的智能体可以用少得多的 token 获得三倍的分数，因此这个基准作为通用智能的衡量标准是故意不诚实的。人类不需要在每次开始一个新谜题或在棋盘上移动一个棋子时重置记忆，所以在我看来这绝对令人震惊。一个 AI 仅仅通过记住已经想通的内容就能表现得这么好，这充分证明了上下文学习已经发展到了何种程度。在 ARC-AGI 对额外步骤施加二次方惩罚之后，我本来就已经不太喜欢它了，但这只是进一步证实了我的看法：这个基准已经偏离了最初的目标——衡量前沿模型的通用智能。不管怎样，我们最终还是会让它饱和的；仍然存在一些高难度的基准是件好事，但我只是想指出，这个特定基准的这副样子并不好看。