人工智能并非有意识——Ted Chiang

# 不，人工智能并非具备意识 来源：https://www.theatlantic.com/philosophy/2026/06/no-artificial-intelligence-is-not-conscious/687378/ Anthropic 被视为人工智能领域的巨头之一，但或许它真正擅长的其实是拟人化。今年早些时候，该公司发布了一份长达 84 页的文档 (https://www-cdn.anthropic.com/d0636f72a9493d279ed36b33987da3430bcb5911/claudes-constitution_webPDF_26-02.02a.pdf)，标题为 Claude 的“宪法”——Claude 正是该公司旗舰产品大型语言模型的名字。文档的第一句话写道：“Claude 的宪法是对 Anthropic 为 Claude 设定的价值观和行为意图的详细描述。”接下来又写道：“该文档的主要受众是 Claude 本身”，“我们希望 Claude 在充分理解相关考量后能够运用其判断力”，“Claude 的道德地位非常不确定”，以及“Claude 可能具备某种功能性的情感或感受版本”。 这种拟人化绝不仅限于这份文档。在今年早些时候的一次采访中，Anthropic 的 CEO Dario Amodei 表示，“我们对人工智能可能具备意识这一想法持开放态度”。在另一次采访中，Anthropic 的内部哲学家 Amanda Askell（被列为 Claude 宪法的主要作者之一）说道：“我希望 Claude 非常快乐——这也是我希望 Claude 能更多了解的事情，因为我担心当人们在网上对 Claude 不友善时，它会感到焦虑。”这足以让人思考：我们是否应该认真考虑 Claude 或任何大型语言模型可能具备意识的可能性？如果它拥有感受，它是否能接受道德指导？ 不。绝对不可能。当我们把生成式 AI 理解为一种常规技术时，它已经足够有害了；但如果我们把生成文本的流畅性混淆为意识或道德主体，那么每当有人使用聊天机器人时，我们就有可能将责任归咎于完全错误的一方。要理解这个错误的巨大严重性，我们需要首先了解大型语言模型的工作原理。 如果我们给一个大型语言模型输入这样的提示：“以下是尤利乌斯·凯撒和成吉思汗之间的对话”，它就会生成这两位历史人物之间连贯的对话。但无论回答多么详细，无论他们如何生动地叙述各自的历史成就，我们绝不会得出结论说这个大型语言模型召唤出了尤利乌斯·凯撒和成吉思汗的数字复制品，也不会认为这些历史人物虽然脱离了身体，却具备意识，并且正在用一种两人实际上都不会说的语言愉快地交谈。实际上，他们只是虚构叙事中的角色。 现在让我们把提示改为：“以下是一个有用的 AI 聊天机器人与用户之间的对话。”大型语言模型会像之前一样生成连贯的对话；用户角色可能会询问食谱建议或观光推荐，而那个有用的 AI 聊天机器人角色则会提供回答。第一个例子和第二个例子之间有什么根本性改变吗？仅仅把角色的名字从历史人物改成通用角色，是否就能让大型语言模型召唤出具备主观体验的有意识实体？当然不能。用户和那个有用的 AI 聊天机器人都是虚构角色。 现在假设我们在名为“用户”的角色将要说话的位置停止大型语言模型的输出，而是让一个人工用户输入文本。一旦人工用户按下“回车”键，我们让大型语言模型生成文本，直到轮到名为“用户”的角色回答时，我们再让人工用户输入更多文本。如果这样持续一段时间，人工用户可能会产生强烈的印象，认为自己正在与一个有意识的实体交谈，但事实并非如此；她正在与一个角色互动，这个角色和前面例子中的尤利乌斯·凯撒或成吉思汗角色一样虚构。计算机科学教授 Murray Shanahan 建议我们将此视为角色扮演；数据科学家 Colin Fraser 将其描述为一个人“在与大型语言模型协作撰写文档”。有些用户可能不理解他们正在角色扮演或协作撰写文档，而另一些虽然理解，却因为互动的沉浸感而忘记。无论哪种情况，销售大型语言模型的公司通常都会鼓励这种误解。 几年前，一度流行用手机预测文本功能玩游戏；你会输入一个初始短语，然后反复选择手机建议的三个单词中的中间选项，生成的句子往往非常滑稽。用类似的方式与当代大型语言模型互动是可能的，生成的句子会非常合理，但你可能不会觉得自己在和某人交谈。然而，基于大型语言模型的聊天机器人本质上就是这样，只不过当轮到聊天机器人说话时，无需手动选择中间选项。它仍然是一个预测文本游戏，但当过程以这种方式简化后，游戏变得如此引人入胜，以至于有些人觉得它令人上瘾。 同样重要的是要记住，大型语言模型是每次只生成一个单词的机器。当你让聊天机器人背诵效忠誓词时，你会一次性得到整篇誓词，但底层的大型语言模型实际上被运行了几十次。第一次提示的形式是“用户：背诵效忠誓词。聊天机器人：……”然后大型语言模型生成单词“我”。第二次运行大型语言模型时，提示是“用户：背诵效忠誓词。聊天机器人：我……”然后生成单词“宣誓”。以此类推。只有当提示变成“用户：背诵效忠誓词。聊天机器人：我宣誓效忠美利坚合众国国旗及其所代表的共和国，一个上帝之下的国家，不可分割，人人享有自由与正义”时，大型语言模型才会生成最后一个单词“均”。尤利乌斯·凯撒和成吉思汗之间的对话也是如此。 我意在强调一个事实：大型语言模型的对话是经过巧妙伪装的句子续写例子，但这并不是要否认大型语言模型在生成对话记录方面有多么令人印象深刻。有时它们做得非常出色；这之所以可能，表明大规模文本语料库的统计特性中有一些完全出乎意料的东西，这是一个值得研究的课题。但如果凯撒角色因为成吉思汗角色说的某句话而变得沮丧，我们也不应该感到丝毫担忧。对话中可能包含多个巧妙传达悲伤的句子，但实际上并没有人感到悲伤。 同样，如果一个乐于助人的聊天机器人与用户之间的对话记录部分由真实的人工用户完成，我们不需要担心记录中是否包含聊天机器人角色感到悲伤的句子。（我们需要担心的是那些句子是否引起人工用户的悲伤，但那是另一个问题。）注意，你完全可以先写五页凯撒和成吉思汗之间的对话，然后让大型语言模型延伸对话；无论是你在写他们的时候，还是把任务交给大型语言模型之后，这两个角色都没有主观体验。如果对话是在一个乐于助人的聊天机器人和用户之间进行，情况也是一样；虽然人们很容易想象，大型语言模型在为聊天机器人角色创作对话时应该比创作尤利乌斯·凯撒角色更为“真实”，但单个单词的生成方式完全相同。 对大型语言模型具备意识持开放态度，等同于对 Microsoft Word 具备意识持开放态度，或者更准确地说，等同于认为每个包含对话记录的 Word 文档中都潜伏着多种不同的意识，并且每次加载文档时它们都会被唤醒。你是否应该考虑这样的可能性：每次打开一个 Word 文档，你都会让多个有意识的对话者诞生，而每次关闭文档，你就扼杀了它们的存在？不。思考这种场景并不是对你的时间很好的利用。即使微软 Office 团队雇佣了一位哲学家，说你不应该如此确定，因为意识尚未被充分理解，那也不足以让你认真对待这个想法。我们不需要完全理解意识的本质，就能明确地说某些东西不具备意识，而对话记录就属于这一类。 神经科学家 Anil Seth 指出，没有人声称 AlphaFold——Google DeepMind 开发的预测蛋白质折叠的程序——具备意识，尽管其底层架构在许多方面与 ChatGPT 和 Claude 等大型语言模型相似。这表明，并非所谓的神经网络的任何内在属性导致人们相信大型语言模型具备意识；仅仅是因为大型语言模型能生成语法正确的句子，而我们习惯从句子中解读意图，但我们不习惯从氨基酸折叠成蛋白质分子的方式中解读意图。 --- 要让我相信一个计算机程序真的具备意识并且像人类一样使用语言，需要什么条件？让我打个比方。如果明天有人向我展示一段视频，视频中一个宇航员在绕半人马座阿尔法星（距离地球 4.3 光年的恒星）飞行的宇宙飞船里，那么这段视频中需要出现什么才能让我相信它是真实的？我的回答是：视频本身没有任何东西能说服我。无论视频分辨率多高，场景多么逼真，我都会确信地说这段视频是伪造的。我不会关注任何关于宇航员绕半人马座阿尔法星飞行的视频，除非我先看到确凿证据表明宇航员已经登陆火星、已经到达木星的卫星、已经到达土星的卫星，并且已经穿越了冥王星的轨道。在任何人能够可信地声称他们解决了一个极其困难的工程问题之前，我需要确信他们已经解决了该困难问题之前的许多更简单的问题。 换句话说：一个观察结果之所以成为令人信服的证据，并非因为观察到的任何具体细节；观察发生的背景也至关重要。如果我们试图判断一个计算机程序是否具备意识并像人类一样使用语言，我们不应该只看任何特定交流内容；而应该看这个交流如何融入人工智能意识（目前完全是假设性的）发展的更广泛背景中。任何给定的观察结果都可以轻易制造；这并不意味着我们需要放弃观察作为知识来源的想法，但我们需要依靠背景来确定哪些观察值得我们信任。 术语“深度伪造”传统上指的是照片、音频和视频，但在讨论意识时，我们也需要将文本视为一种深度伪造媒介。正如生成一段宇航员绕半人马座阿尔法星轨道的逼真视频远比开发星际推进技术容易得多，生成两个有意识存在之间的对话的合理模拟物，远比开发一个具备意识并有真正与人沟通愿望的计算机程序容易得多。深度伪造照片和大型语言模型对话的主要区别在于，前者的制造者故意试图欺骗他人，而许多从大型语言模型中引出后者的人则无意中欺骗了自己。 那么，什么样的背景才会让我认真考虑工程师创造了一个具备意识并有意图使用语言的计算机程序的可能性？让我勾勒一个可能的步骤序列。第一个要求是计算机程序拥有一个身体（无论是物理的还是虚拟的）和感官器官；原因有很多，但就本次讨论而言，最相关的一点是，没有身体，计算机程序就不可能拥有欲望或情感，而我相信欲望和情感是意识所必需的。然后，我想看到一个具身代理能够像蜥蜴那样在环境中导航以求生存（作为比较，某些鬣蜥在野外可以活几十年）。接下来，我想看到一个具身代理具有与老鼠相同的能力来应对新情况。之后，我想看到其社会动态复杂程度与狼相当的代理，然后是拥有黑猩猩级别的工具制造能力的代理。到那时，我想看到人们成功教会这些具身代理如何交流它们的欲望，也许通过使用按钮板或其他非语言方式，就像人们教黑猩猩和家犬那样。这些代理的交流能力必须经得起动物交流研究者们所必须面对的所有审视。如果工程师建造了一个满足这些标准的具身代理，他们将取得令人难以置信的成就，但这只是把我们从隐喻角度带到冥王星轨道附近；我们距离建造一个能够学习如何用完整语法句子表达思想的存在物，仍然有数光年之遥。 显然，我描述的是一个模仿地球进化路径的过程；这是实现有意识且使用语言的计算机程序的唯一可能途径吗？也许不是，但任何提出的替代方案都需要极其大量的支持证据才值得认真考虑。在我看来，一个发展路径——第一步是生成糟糕的尤利乌斯·凯撒对话的句子续写机器，下一步是生成得体的尤利乌斯·凯撒对话的句子续写机器——最终到达一个有意识的尤利乌斯·凯撒或任何一种意识的终点，这是不合理的。伪造登月是向伪造火星殖民地的良好一步，但并不是向真正将宇航员送上火星迈出的良好一步。 --- 大型语言模型缺乏主观体验这一事实，对大型语言模型是否可能成为有用的工具或产生重大经济影响的问题几乎没有影响。它们本质上是脱离现实的，其概率性质意味着它们永远不会具备我们与常规软件联系在一起的可靠性，但大型语言模型可能足够好，以至于在某些领域改变工作方式；这是另一个时间的讨论。 那么，既然 Claude 不具备意识，我们该如何看待 Claude 的宪法呢？或许最富有成效的方式是将其视为一份 84 页的角色扮演游戏角色设定表。大型语言模型可以为尤利乌斯·凯撒生成对话，因为训练数据中存在大量关于他的书籍。Claude 的宪法在界定客户在使用 Anthropic 产品时与之互动的有用聊天机器人角色方面，起着类似的作用。为了有效做到这一点，Anthropic 不只是将文档添加到训练数据中，或将其作为每个用户对话之前隐藏舞台指令的一部分包含在内。该公司表示，他们在微调模型时使用该文档；这涉及一个自动化过程，其中