自回归大语言模型正式与鱼共眠（Yann LeCun是对的）

TL;DR：将大语言模型架构应用于鲸鱼咔嗒声，证明AI可以理解外星语法，但也强化了当前AI根本上停滞不前的观点。AGI需要物理具身、多模态感知，并大幅远离以人为中心的基准。CETI项目（鲸类翻译倡议）利用大语言模型背后的机器学习架构，揭示了“抹香鲸语音字母表”。将我们最先进的AI对准非人类物种，这为AI自身带来了一面深刻的镜子。与鲸对话的探索对我们通往AGI的道路有何启示？Transformer具有通用性：为人类文本设计的AI模型成功解析了海洋哺乳动物的咔嗒声。这证明现代神经系统是通用的序列解码器。本质上，我们解决了智能的“模式发现”层面。“符号接地”问题：AI可以很好地预测下一个鲸鱼咔嗒声（语法），但完全不知道其含义（语义）。这证明统计模式匹配是脱离具身的，并不等于真正的理解。AGI需要具身的“世界模型”：抹香鲸使用声纳来“看”环境和“说话”。要弥合语法与意义之间的鸿沟，科学家必须将咔嗒声与物理性和运动数据关联起来。这强化了一个信念：AGI不能仅仅通过扩展文本规模实现；它需要植根于共享物理现实的多模态。“外星”对齐沙盒：鲸鱼拥有巨大的大脑和复杂的社会，生活在漆黑一片的流体环境中，没有手或火。破译它们的交流是人类第一次低风险预演，以与非人类的、外星超级智能对齐。生物效率 vs. 蛮力：大语言模型需要人类整个数字历史才能模拟对基本语言的理解。而一头幼鲸学习其族群复杂方言所用的数据呈指数级减少。要实现可持续的AGI，我们必须复制这种生物样本效率。总结：破译鲸鱼咔嗒声是现代AI背后数学的巨大胜利，但也是一个令人警醒的提醒：AGI不会神奇地从预测下一个token中涌现。只有当AI学会将这些token连接到一个活生生的、多维度的世界时，AGI才会实现。