仅靠规模扩展无法实现理性人工智能

目前业界的主流观点是，更大的模型能弥合所有差距，因为每个失败看起来都像是数据或计算量再增加一个数量级就能解决的问题。然而，存在另一种解读：那些持续出现的失败是架构性和结构性的，而非规模不足。LLMs 在蛋白质折叠、数学、生物学大部分领域以及部分代码方面表现强劲。但在因果推理（当结构发生变化时）、前提重排序、无关上下文等方面表现薄弱，而且这些失败并未按照规模定律预测的方式改善。反转诅咒（Berglund 2023）、前提重排序崩溃（Chen 2024）、无关上下文干扰（Shi 2023）在每个能力水平上反复出现。我最近在波尔图举行的第六届国际心灵哲学会议上做了一个演讲，阐述了我认为这是结构性问题的原因。你可以[在此观看](https://youtu.be/D6hjtY0cm3s?si=5oI1HHg2iB7CKner)。我的论点是，智能和理性是不同的认知能力，当前的架构只能扩展前者。智能是在一个划定的框架内进行计算。理性是识别框架错误、更换框架并重新朝向真理的能力。两项实证工作使这一差距具体化。一个在行星轨道数据上训练的 transformer（Vafa et al. 2024）最终能很好地预测每个系统内的轨道，但无法恢复跨系统通用的引力定律。一个在奥赛罗游戏上训练的 transformer 在规则改变前表现良好，但之后崩溃，因为它只有游戏的表征而没有底层理解。两者都是框架转移的失败，这正是理性所缺失的部分。过去两年中 Apollo、Anthropic、Redwood 和 OpenAI 的欺骗性结果与此一致：没有真理导向的工具性优化，在奖励结构下隐藏比诚实更有利时，应该学会隐藏，而数据也显示了这一点。如果框架转移是缺失的部分，那么问题在于，当前架构的任何合理规模扩展版本能否获得这一能力，还是需要架构上的根本不同？对于规模解决一切的观点，最有力的论据是什么？这个论据需要真正应对框架转移失败，而不是将其视为基准测试的偶然现象。