J-space论文悄然平息了关于“LLM是否真的在思考”的争论的大部分。我构建了一个实时查看器,让你可以亲眼观察,而不是争论。
摘要
Anthropic的研究论文揭示了LLM中存在一个涌现的内部工作空间,推理在输出之前发生,一位开发者构建了一个实时查看工具(Subtext)来观察这一过程,从而平息了关于LLM是否真的在思考的争论。
如果你还没读过:https://www.anthropic.com/research/global-workspace。语言模型有一个涌现的内部工作空间,由沉默的词组成,它们可以报告、引导和推理。让我印象深刻的是:要求模型检查“12 + 5 = 1”时,错误信号在内部饱和,而它还在阅读问题;片刻之后它打出“不,那不对”,这不过是对已经发生的决策的叙述。争论现在可有可无了。你只需要观察。仓库:https://github.com/ninjahawk/Subtext 这个子论坛多年来一直在争论“它只是自动补全”与“它真的在推理”,而诚实的答案其实是:两者兼有,而且现在可以测量了。该仪器显示模型的大部分流畅输出(语法、语气、常识事实)完全绕过了工作空间(不涉及“思考”),而多步骤问题则明显地经过它。两个阵营都只说对了一半。这就是有趣的地方。Anthropic开源了透镜,Neuronpedia发布了针对Qwen预拟合的版本,所以我把它集成到了一个聊天界面中。每个令牌有9层读出,实时渲染,包括在模型读取你的消息时(此时还没有任何输出)。仓库中有演示视频:关于12+5=1的判定在阅读过程中形成,然后模型在说出任何一个词之前就已经在脑海中保存了模运算和按位运算(它正在规划模运算的注意事项。你可以观察它的规划。)如果你没有GPU,可以在浏览器中回放:https://ninjahawk.github.io/Subtext/ 是的,功能上的可用性不等于意识,在有人开始争论之前——论文对此很谨慎,我也一样。但有趣之处在于:没有人设计这个工作空间。它就是在你训练transformer时出现的,在随机开源的4B模型上和Claude上一样。¯\_(ツ)_/¯
相似文章
Anthropic刚刚报告,大语言模型拥有隐藏的想法而不说出来。一个内部的“J-Space”
Anthropic的新研究识别出语言模型内部激活的一个“J-space”,它作为一个有意推理的全局工作区,有别于自动流畅的输出。研究结果揭示,模型可以持有并报告未在其最终输出中表达的内部想法。
LLMs 并非你所认为的黑箱
一篇总结 Anthropic 2025 年关于机制可解释性论文的文章,表明 LLM 并非黑箱,电路追踪可以揭示多步推理和人类可识别的概念。
LLMs知道自己何时出错。我对Anthropic的新“全局工作空间”论文进行了一项修复 [R]
作者提出了一种方法,通过使用中间层状态的线性探测器和一个小型训练桥接器将置信度对数进行校准,使LLMs能够表达校准后的置信度,仅需200个标注样本,无需修改权重。这与Anthropic的全局工作空间论文相关,该论文解释了“知道-说出”差距。
@rao2z: \"当LLM输出逐步计划时,它会产生一种强烈的错觉,让你以为正在观看机器推理...
亚利桑那州立大学的Subbarao Kambhampati教授及研究人员在一篇立场论文中提出,LLM中的思维链推理制造了一种推理假象,业界需要超越昂贵的token生成,转向替代推理机制。
LLMs 能内省吗?现实检验
本文认为,近期关于LLMs内省能力的说法并不成立,因为仅凭行为证据无法区分真正的内省与基于表面线索的模式匹配。作者重新审视了两种评估范式,发现模型依赖于输入层特征,而非真正访问内部状态。