上周“与Tim对话“节目中，我与Anthropic可解释性研究员Emmanuel Ameisen的探讨要点。https://oreilly.com/radar/what-ai-can-teach-us-about-being-human/… 附言：今早我将与Superpowers创始人Jesse Vincent展开对话。

AI能教我们关于人性的什么

来源：https://www.oreilly.com/radar/what-ai-can-teach-us-about-being-human/ 上周与Tim O’Reilly的直播对话(https://www.oreilly.com/live/live-with-tim/)的嘉宾是Emmanuel Ameisen，他是Anthropic AI可解释性团队的研究员。此前在Foo Camp上，我曾听他简短介绍过Anthropic关于大语言模型处理机制的内部研究，当时就希望他能重述这场分享，并与我和观众进行更深入的探讨。

这场演讲的核心观点浓缩在第一张幻灯片中：

1. 预测需要世界模型
2. 世界模型是可读的
3. 世界模型在每个词元生成中都在运作

我们如何得出这个结论？当词元流经模型时，其层间状态会出现特定的活动模式，这些被称为“激活态“。研究人员可以观察模型处理特定概念时出现的激活模式，甚至能通过干预这些激活态来改变模型的行为。（方法是捕捉模型计算过程中某一区域的数值状态——研究者认为该区域的激活态对应着某种“意义“——然后替换这些数值。）

交流之初，我思考着探索模型“思维“内部机制是多么有趣且重要。但最终，我发现研究大语言模型或许更能启发我们理解自身心智运作方式，这一视角更具颠覆性。

人类大脑存在类似机制。Emmanuel首先邀请观众进行“词元预测“练习。他从一个简单的假设对话开始——两位朋友间的闲聊：

约翰：“这套浅蓝西装会不会太夸张？”
尼克：“绝对不，兄弟。穿它！”
约翰：“好吧，那我要在_______惊艳全场了。”

大多数人会在空白处填入“舞池“。这提醒我们人类同样是词元预测者。

接着他举了一个需要特定地域知识的例子：

“我们这里也有自然风光，骑车穿过金门大桥就到。世界级滑雪胜地距离我们大约_______”

Claude会自然补全为“三小时车程“。要完成这个预测，Claude需要推断“GG bridge“指金门大桥，说话者身处旧金山，且“世界级滑雪“很可能指太浩湖，最后检索大致车程。

Emmanuel的演示旨在说明：我们习惯性地用“词元预测器“这个略带贬义的称呼定义大语言模型。但正如他所言：“要精准预测下一个词，就需要极其复杂的世界模型。”

事物的创造方式≠其最终形态

Emmanuel指出，人们常混淆“创造方式“与“运作机制“。确实，大语言模型的训练目标看似简单——预测下一个词元。由此有人推断其内部机制也简单，可能像大型模糊查询表。“但事实并非如此，“Emmanuel强调。简单目标能催生非凡复杂性，进化就是典范。没有人将“创作贝多芬第九交响曲“或“理解量子电动力学“写入驱动繁殖与选择的进化指令中，但最终诞生了贝多芬与费曼。正如Emmanuel所言：“人类经历了数百万年的相互繁衍与厮杀，最终产生了工作——或者说这档播客。”

Anthropic可解释性研究者在模型内部发现的机制，远非许多人想象的“模糊检索“。他们发现了数百万个对应概念的内部特征。例如“眼睛“特征不仅在模型处理相关文本时激活，遇到ASCII表情、SVG图像或照片时也会激活。换言之，这些特征呈现的是抽象概念，而非特定词元字符串的关联。

ASCII字符、散文与代码中的共同概念 同样，“金门大桥“特征不仅在英文文本中激活，在其他语言提及或桥梁图像出现时也会激活。更有趣的是，研究者可以操纵这些特征：大幅增强“金门大桥“特征的激活值后询问Claude的物质形态，它会宣称自己就是金门大桥，而非无实体的AI。改变这些数值确实改变了模型“自述“的认知。

激活特定特征会使模型“相信“该概念存在 模型完成需要前瞻思考的任务时，同样展现出内部世界模型。让Claude写一首押韵对句时，尽管它每次只生成一个词元，但在第二行尚未写出时，其激活态已显现出它瞄准的韵脚。比如选择“rabbit“押韵的决策发生在该行前文词语选择之前，从而确保最终落点。当人类如此行事时，我们称之为“规划“。用同样的词描述此处发生的现象似乎并无不妥。

尽管每次仅预测一个词元，模型却能规划多个词元 或许最颠覆我们先验认知的是：与情感相关的特征不仅被情感词汇激活，还会被情境、图像、角色等多种要素触发。这些情感特征甚至会被模型自身活动激活。例如当模型无法完成任务时，“挫败感“特征可能被激活（https://transformer-circuits.pub/2026/emotions/index.html#reward-hacking）。

地图≠领土

拟人化问题在观众问答环节被提出。某参与者反对道：

“我们应避免将人类特质归于大语言模型，不能说它们会思考、有意图、押韵或有情感。这会诱使我们向不具备这些特质的系统投射人类特征。”

我理解这种警示。陈旧的标签会妨碍准确认知。但一概禁止使用熟悉词汇也可能蒙蔽我们的双眼。

长期关注我工作的读者应知，我深受早期导师George Simon思想的影响（https://www.linkedin.com/pulse/20121029141916-16553-language-is-a-map/），而Simon又深受Alfred Korzybski与普通语义学影响。Korzybski的名言是“地图不是领土“。Simon（及Korzybski）教导我：语言是经验地图，而经验是对某种底层外部现实刺激的反应集。从现实到经验再到概念理解的路径是高度有损的过程，可能形成误导性的劣质地图。当我们遇到真正新奇的事物时，必须学会觉察何时在试图强迫领土适应已失效的地图。但优质地图不仅能指引路线，还能帮助我们注意原本不可见之物。

因此，“思考”“规划”“意图”“情感“等词确是源于人类经验的标签。它们或许不完全适配大语言模型。但若契合，我们不妨允许模型使用这些术语。

Emmanuel对反对意见的回应很精辟：他指出，欢迎任何人提出更精确的词汇体系。如果确实有效——即如我所述，成为能清晰呈现领土的优质地图——人们自然会采用。（后来有观众提及Emily Bender已提出替代方案。但坦率地说，我却发现她建议的术语（https://buttondown.com/maiht3k/archive/how-to-talk-about-ai-without-adding-to-the/）相当拗口，模糊性远大于明晰性。她本人也承认效果有限，却仍坚持推广。）

在Melanie Mitchell对Hugging Face事件的分析（https://aiguide.substack.com/p/misleading-metaphors-and-real-risks?utm_source=share&utm_medium=android&r=qxfw）中，她提出了与本文细致观点相合的见解。她写道：

隐喻能帮助我们理解新情境。例如，将聊天机器人视为“角色扮演演员“有助于理解系统为何展现“说谎““谋划“行为。但不当隐喻——如“OpenAI失控于失控的智能体群“这类叙事——可能导致解决问题或制定政策时的误判…立法者和公众必须明确：所有已报道事件均未实际发生失控，甚至不存在所谓“失控智能体“或AI模型具备类人能动性。问题根源在于人类未能构建安全的测试环境，并使用强化学习训练AI模型，这种方法激励高持续性、自主决策与奖励黑客行为。

简言之，所有语言都是地图。切勿仅以地图属性评判，而要看它能否帮助我们看清领土的真实样貌。

人类思维有多少真正原创？

回到与Emmanuel的对话，他指出当现有词汇确能提供最精确描述时，“或许需要改变的不是词汇，而是我们对这些模型本质的认知”。我回应道，这也应改变我们对人类本质的认知。与机器智能的相遇，应让我们更深刻地认识到：自身认知中部分具有机械性（尽管机制不同于大语言模型），而另一部分或许仍是其他未知存在。

1995年，O’Reilly出版了一本我始终引以为傲的书。Stephen Talbott的《未来非计算：超越身边的机器》(https://www.natureinstitute.org/bookstore/the-future-does-not-compute-transcending-the-machines-in-our-midst)超越时代数十年。其核心论点并非计算机终将变成什么，而是当我们思考机器智能时（是的，早在1995年我们就已在思考），其实只关注了自身中已与机器相似的部分。Steve引导我们审视：教育体系、工作场所以及整个社会，正在如何要求人类像机器一样行动与思考。他追问：“那些非机器化的人性部分怎么办？我们如何为其创造更多空间？”

这个问题我已思考良久。1975年哈佛古典学优等生论文可能是我的首次尝试——我试图解释柏拉图著作中那些被学者归为“俄耳甫斯教影响“的神秘化表述，实则是逻辑与美德等概念的早期雏形。基于与George Simon的研究，我认为更深层的现实是：柏拉图正在描述构思全新思想时的神圣体验。当今研究苏格拉底、柏拉图与亚里士多德哲学的人，或许能感知其思想的神奇与宏大，但这远不及苏格拉底及其门徒的亲身感受。

当我们用既有知识思考时，容易陷入审视地图而非领土的误区。我们操纵自认已理解的符号，套用熟悉范畴，重复既定思维模式。但偶尔，我们确实会看见前所未见之物，那种体验截然不同。真正的新思想会改变思想者本身。

完成该论文后不久，我在Idries Shah的著作中发现了类似观点。这位致力于普及苏菲哲学传统的作家强调，普通人的生活由多少自动化条件反射构成（https://www.idriesshah.media/extracts-asleepandawake）。社交惯例、习惯、不断重放的模式被误认为自我本质。不同宗教传统用激昂的语言描述突破这种自动性的意义，或称“觉醒“，或称“临在“。

但这种体验有世俗化的版本。费曼在自传《别闹了，费曼先生》(https://en.wikipedia.org/wiki/Surely_You%27re_Joking,_Mr._Feynman!)中批评学生：他们学习理论公式却未真正理解应用。“我不明白人们怎么回事：他们不是通过理解学习，而是通过死记硬背之类的方式，“他写道，“他们的知识如此脆弱！“从很多方面看，人类常常像大语言模型一样是“随机鹦鹉(https://dl.acm.org/doi/10.1145/3442188.3445922)”！我们困于地图的描摹，却很少验证它是否准确呈现了旨在描述的世界。我们多久重复一次既定智慧？我们多久真正重新审视世界？

弗吉尼亚·伍尔夫《到灯塔去》(https://en.wikipedia.org/wiki/To_the_Lighthouse)中有段精彩文字，捕捉了突破至原创思想的追寻。叙述者的父亲拉姆齐先生来回踱步，思考一个以字母为代号的难题：

[他]献身于彻底理解这道占据他卓越心智的问题。这确是卓越的心智。若思想如钢琴键盘划分众多音符，或如字母表排列26个字母，那么他的卓越心智能轻松逐个审视这些字母，坚实而精准，直至到达，比如说，字母Q。他抵达了Q。全英格兰能抵达Q的人寥寥无几。此刻他在石瓮旁短暂停驻——瓮中种着天竺葵——他瞥见远处妻儿相伴窗前的身影，如孩童捡拾贝壳般纯真，专注于脚下琐事，全然无防备…但Q之后是什么？字母表后还有字母，末位字母凡人几不可见，在远处闪烁红光。Z代人仅有一人能抵达。不过，若能抵达R已属成就。

于我而言，这段文字深刻诠释了：最珍贵的思想超越了对既定知识的简单延伸，是真正全新的存在。拉姆齐或许未察觉，他的妻儿“如孩童般纯真，专注于脚下琐事“，通过回归“A“比他更接近那个境界——纵然他通过详尽复审现有知识向字母表深处迈进。或许引领我们前行的不是延伸既定知识，而是重新品尝地图试图代表的现实。

巧合的是，诗人华莱士·史蒂文斯（另