@gmkurtzer:哇,我一觉醒来发现竟有这么多恼火的人,显然他们不理解 LLM 的工作原理,而且对我的指正无法接受……
摘要
Gregory Kurtzer 回应其「LLM 并不『理解』任何东西」这一观点所引发的争议,解释了下一词元预测的机制,并论证产生正确输出与有意识的理解是两回事,同时邀请大家就机器意识应如何定义和衡量展开讨论。
查看缓存全文
缓存时间: 2026/10/17 20:58
哇。我一觉醒来,发现有相当多人生气了,他们显然不理解 LLM 是如何工作的,也无法坦然接受我指出这一点。
LLM 是一个统计性的下一个 token 预测模型。它就是这么运作的。它是一台极其精密的计算器,执行的运算你在理论上可以用手算出来(前提是你足够自虐)。
数学本身并不知道自己在计算什么。Pi 不会花一晚上的时间思考圆的本质,c 也不会深思物质与能量之间的关系。
但这并不影响结果的准确性、令人惊叹的程度或实用价值。
在两次推理请求之间,LLM 并没有在“思考“。它不会重新审视自己的回答,不会反思自己是否犯了错,不会思索自身的存在,也不会质疑自己是否具有意识。它的权重保持不变(它不会学习),只有接收到输入时才会恢复运算。
我们之所以知道这些,是因为这些系统是我们设计的。其架构、数学原理、实现方式和相关研究都有详尽的文档记录。你完全可以自行研究。
当然,有些人会立刻转向生物智能的类比,或者意识的哲学辩论,因为那是他们熟悉的话题。
但生物智能和人工神经网络是根本不同的系统。相似的输出并不能证明它们具有等价的内在体验。
我直接体验着意识。我推断其他人类也是如此,因为我们共享相同的生物结构和过程。而对于 LLM,我们并没有等价的证据,而且其已知的运行机制也没有提供任何意识体验的证据。
这就回到了我最初的观点。
对我来说,理解就是有意识的认知。它意味着意识到信息、识别其含义,并体验到这种认知过程。如果我没有意识,我就不可能理解。
我们可以无意识地执行动作。我们可以在不知道为什么正确的情况下产出正确结果。但我会将这些能力与有意识地理解我们正在做的事情区分开来。
LLM 可以解决复杂问题、解释困难的概念,并产出极其准确的信息。对于这些能力,我给予充分的认可。
但产出一个被我们合理化为“理解“的答案,与真正体验到“理解“是不一样的。
你不必认同我的定义。我们可以一整天争论功能性理解与有意识认知的区别,但这无法确定 LLM 是否真的在体验任何东西。
正确的辩论应该是这样的……
机器能否展现出一种不同于人类意识的东西——一种可测量、有意义、值得研究的东西?
我认为当然可以!
我完全愿意从可观察、可检验的计算属性角度来讨论“机器意识“。这些系统是我们建造的,我们可以对其插桩、检查内部机制、探究它们的能力。
这似乎比无休止地争论机器是否像人类一样体验生命要更有建设性。
所以我的问题是:
你会如何定义机器意识?更重要的是,你会如何衡量它?
Gregory M. Kurtzer (@gmkurtzer): 不确定谁需要听到这个,但是……
LLM 并不“理解“任何东西。它是一个统计模型,基于通过大规模矩阵运算和上下文计算出的概率来输出 token,而非基于对主题的理解。
相似文章
@gsliwoski:这篇分析基本上是证明 LLM 远未达到意识、且 LLM 中的神经元与大脑中的神经元工作方式截然不同的最有力证据之一……
一条推文认为,一篇关于机制可解释性的新分析是 LLM 远未达到意识、其神经元的工作方式与生物大脑截然不同的有力证据,并引用了 Nick Cammarata 关于可解释性是解决对齐问题关键的论述。
@GergelyOrosz:令人不安的是,有人一边建造机器(LLM),一边游说它们具有“意识”
Gergely Orosz 批评 AI 构建者游说 LLM 能够拥有意识的观点,认为 LLM 这样的机器不过是工具,其“意识”并不比一把螺丝刀或一部智能手机更多。
吐槽:别再说什么LLM只是“下一个词预测器”了。
对LLM“只是下一个词预测器”这一过于简单化的说法提出批判,认为大规模预测会诱导出有用的表示和能力,并且这种轻率的否定混淆了目标与学习系统。
LLMs 并非你所认为的黑箱
一篇总结 Anthropic 2025 年关于机制可解释性论文的文章,表明 LLM 并非黑箱,电路追踪可以揭示多步推理和人类可识别的概念。
@msimoni:LLM 最诡异的影响之一是,人们表现得好像编写极其复杂的程序这件事如今已经解决了……
一条推文批评了关于 LLM 已经「解决」编写极其复杂程序这一被过度炒作的观点,以经过验证的编译器 CompCert 为例,说明这项任务仍然需要顶尖的人类专业能力。