当前LLM架构真的能实现AGI吗?
摘要
一位软件工程师质疑当前LLM架构能否实现AGI,指出诸如自回归生成和缺乏实时学习等限制。
我是一名软件工程师,不是科学家,但我热爱这一点。我喜欢解决大规模、分布式应用中的难题。这正是我每天早晨起床的动力,即使在专业领域工作了二十多年后,我仍准备好继续学习。然而,我也喜欢理解事物的工作原理。它们是如何运作的。我如何能让它们按我的意愿行事,即使这不是它们最初的用途。有些人可能称之为黑客思维。在过去的几年里,这也适用于LLM的本质及其发展方向。最近,我开始揭开LLM黑匣子的层层神秘面纱。我没有选择学术路径,而是选择了应用实践者的道路:首先扎实掌握如何使用LLM,然后利用使用中学到的知识,通过深入探究黑匣子的实际工作原理来加以提升。最近有些事情让我困惑,我希望能找到比我更聪明的人来帮助我理解:如果AGI的定义(尽可能确切地定义)类似于“一种假想的计算机软件或机器智能,能够在任何智力任务上匹配或超越人类认知能力”,那么当前的LLM架构怎么可能实现这一点呢?在核心层面,或者说在*非常*高的层次上,它基于前面的标记预测下一个标记的概率分布。自回归解码没有给模型一个独立的机制来判断何时出错,审议步骤也没有从根本上改变这一点。集成器及其内置的“智能”或“智能体推理”通过提供额外上下文、外部反馈和循环,在提供*看似*智能的输出方面表现出色,但其核心仅仅是多层概率系统提供了神奇的输出。模型本身并没有学到任何新东西。常规推理不会根据经验更新模型的权重。自回归生成本身不会回溯并修改先前生成的标记。模型提供的原始功能是生成,而不是一个明确的推理机制。人类可以有一个想法,回溯并做出修改,直到达到他们想要的结论。完全独立完成。当前LLM的状态实际上就像有一群可配置数量的人在玩近乎无损的传话游戏,每个人在传递消息前都对其进行修改或丰富,只是房间里的每个人都是克隆体(或者如果迭代不同模型,可能是近似克隆体)。现有架构下的AGI声明是真正的烟雾和镜子,还是有更多我从应用工程角度无法看到的要素?
相似文章
仅靠 LLM 能否实现 AGI?
本文探讨了顶尖 AI 专家之间的争论:仅靠 LLM 能否实现 AGI,抑或是否需要诸如世界模型之类的额外突破。
AGI会以LLM的形式出现吗?
关于AGI是否会从LLMs或像量子计算这样的替代技术中出现的推测性讨论。
Google 是否真的相信 LLM 的规模扩展不会通向 AGI?
本文推测,Google 在前沿 AI 领域落后于 OpenAI 和 Anthropic,究竟是执行不力,还是对「通过规模扩展实现 AGI」这一假说持有根本性的质疑。作者怀疑,Google 是否认为 LLM 终究是一场泡沫,而 AGI 的实现需要一种截然不同的路径。
有哪些基础研究探讨了能否通过 LLM 实现 AGI?
我尚未见到任何论文或真正的研究证据来支撑这一论点的任何一方。我希望能超越纯粹的主观意见来讨论这个问题。
哥德尔与 LLM 可达到智能的极限
这篇来自 SenTeGuard 的博客文章讨论了 LLM 智能的理论极限,引用哥德尔不完备定理论证当前 AI 架构无法实现通用的人类级推理。