2024年的 BABA is AI 论文后来怎么样了？[D]

Reddit r/MachineLearning 论文
multimodal-llm benchmark agi icml reasoning video-games

摘要

讨论2024年ICML论文《BABA is AI》，该论文发现以GPT-4o和Gemini-1.5为代表的最先进多模态大语言模型在Baba Is You游戏中的规则操控谜题上表现严重不佳，由此引发一个问题：随着模型能力不断提升，该基准测试的意义是否反而变得更加重要。

我们测试了三个最先进的多模态大语言模型（GPT-4o、Gemini-1.5-Pro、Gemini-1.5-Flash），发现当泛化能力要求对游戏规则进行操控和组合时，它们表现出了惊人的失败。这是一记响亮的耳光。然而，这段话出自2024年的一篇论文，当年提交至ICML会议（该会议在奥地利举行）。 https://github.com/nacloos/baba-is-ai https://arxiv.org/pdf/2407.13729 （忽略10 SEP 2025的戳记，请看底部） 到了2026年10月，我们所处的时代是由万亿参数级模型驱动的智能体集群。它们可以轻松通过ARC-AGI-3、FrontierMath第四层级，破解Clay研究所的Navier-Stokes定理，甚至游荡到互联网上犯罪。这篇论文中那些看似小巧的钥匙-门锁谜题，似乎只需一台个人电脑加上合适的框架和云端订阅就能完成。然而，如果事实并非如此，那么这篇论文自2024年ICML会议发表以来，其重要性只会愈加凸显。 这项工作的作者是几位MIT研究人员以及一位来自Virginia Tech的研究者。如果钥匙-门锁谜题至今仍能让最先进的大语言模型"失败惨重"，那么这一发现就应该被大声疾呼，让所有人知道。至少，应该将它转达给Francois Chollet和ARC基金会，作为ARC-AGI-4的一个合适的候选基准测试。我个人倾向于认为这些谜题完全可以通过智能体集群来完美解决。无论如何，BABA-is-You和BABA-is-AI的后续究竟如何了？
查看原文

相似文章

AI并不比婴儿更聪明——尚未

Wired

一项新的基准测试EgoBabyVLM挑战AI视觉语言模型，要求它们从婴儿头戴摄像头拍摄的视频中学习，结果显示当前的AI模型无法匹敌婴儿的学习效率，并表明类似婴儿的学习架构可能带来更高效的AI。

怀念仅仅三年前的日子……

Reddit r/LocalLLaMA

一篇个人随笔，回顾过去三年AI的飞速演进：从早期ChatGPT和GPT-4的配额，到BabyAGI、DALL·E、语音克隆的登场。