聊天机器人输出有意义（但有问题）的语言

# 聊天机器人输出的语言有意义（但存在问题）

来源：https://arxiv.org/html/2606.02973

\setmainfont STIXTwoText\-Regular\.otf\[ BoldFont = STIXTwoText\-Bold\.otf, ItalicFont = STIXTwoText\-Italic\.otf, BoldItalicFont = STIXTwoText\-BoldItalic\.otf \]\setmathfont STIXTwoMath\-Regular\.otf

（2026年6月††感谢：本文的早期版本曾在以下场合报告：杜布罗夫尼克校际中心年度语言哲学与语言学会议（2023年）、加州大学洛杉矶分校SLIME 4会议（2025年）、图森牧场形而上学研讨会（2026年）、帕尔马大学作为自然科学的语义学会议（2026年），以及在伦敦大学高级研究院（2023年）、巴塞罗那大学（2025年）、剑桥大学剑桥语义学、语用学与哲学研究小组（2026年）的讲座，以及匹兹堡大学（2026年）和富兰克林与马歇尔学院（2026年）的学术报告。我们感谢听众的反馈，尤其感谢评论人Rosa Cao和Justin Khoo，以及与Malihe Alikhani、Doug DeCarlo、Lauren Goodlad、Nick Kroll、Ernie Lepore和Aneta Stojnić的详细讨论。本研究得到美国国家科学基金会（NSF）奖项2021628、2119265和2427646，以及美国国家人文基金会（NEH）奖项RZ-292740-23的资助。本文表达的任何观点、发现、结论或建议均为作者本人所持，不一定反映国家科学基金会或国家人文基金会的意见。）

###### 摘要

AI聊天机器人输出的语言有意义吗？具体而言，如果用户向Anthropic的智能体Claude提问：“西班牙的首都是什么？”而Claude回答：“马德里是西班牙的首都。”那么这句话是否具有其平常意义，并且表达了真实的命题？大多数普通用户以及AI工程师都认为答案显然是“有”。然而，许多认知科学家、语言学家和语言哲学家认为，主流的意图主义语言和意义理论会得出相反的结论。因此，对普通用户直觉更为同情的理论家主张对语言进行激进的“去人类中心化”，重新审视我们对心理状态、意图和语义内容的理解，以容纳大语言模型（LLM）输出具有意义这一直觉。我们采取不同的路径。尽管我们也认为LLM的输出是有意义的，但我们主张，现有的人类语言理论已经可以直接适用于当前的聊天机器人。意义是一个低门槛：声称LLM输出有意义并不需要假定LLM具有心理状态、意图、理性或通信所需的认知能力——也不需要做出任何其他拟人化假设。人类确实具有（通常是成功的）交际意图，但即便如此，在人类身上，语言产出也可能偏离说话者头脑中的内容。我们的观点对于我们应该如何理论化——以及批判性地参与——人类语言输出和合成生成的文本都具有重要意义。特别地，说聊天机器人生成有意义的文本绝不意味着认可它们的输出，也不意味着假设这项技术（或好或坏、是否强大、是否合适、是否有用）。

## 1 引言

AI聊天机器人的输出有意义吗？具体而言，假设用户向Anthropic的智能体Claude提问：“西班牙的首都是什么？”正如[cappelen2025hog]让我们想象的那样。作为回应，Claude输出了字符串“马德里是西班牙的首都”。这个输出只是自然语言的劣质仿制品吗？还是真正的英语句子——具体来说，就是句子“马德里是西班牙的首都”？如果是这样，那么它在此次使用中是否具有其平常意义，从而表达了真实的命题？在本文中，我们对更困难或许也更有趣的问题——Claude*本身*是否通过输出这个字符串*意谓*马德里是西班牙的首都——不感兴趣。我们只关注语言。实际上，我们将提出，关于语言的问题和关于系统的问题比你可能预期的更加分离。111为便于叙述，我们有时会说到“聊天机器人合成的句子”。我们不想不加论证就预先假定输出的字符串是任何语言的句子，更不用说它们是某种语言L中具有标准意义的句子了。同样，我们会允许自己说聊天机器人的“话语”。然而，我们不想假设在产生输出时，聊天机器人执行了言语行为或说话者意谓了什么。正如后面会清晰呈现的那样，这些都是有争议的问题，需要仔细的哲学审视。我们将在后续章节中认真评估这些问题。

目前，非专业用户当然认为聊天机器人的话语具有其平常意义。这一点隐含在他们描述与聊天机器人系统互动时所采用的各种叙事中。以在《纽约时报》发表评论的Ezra Klein为例，他写道：“GPT-5是第一个感觉像真正助手的AI系统”[klein2025]。对他来说，这一主张之所以成立，是因为他直觉到聊天机器人在输出中提供了有用的信息。例如，他写道：“我需要在我两个奇怪的日子里为孩子们找到一个营地，而我以前用过的营地都没有开放。我把孩子们的资料和我的需求给了GPT-5，它为我找到了将近十二个选择，全部都是真实的——其中一个我的孩子现在已经报名参加了。”我们从Klein的观察开始，即GPT-5的选择是“真实的”。Klein是说，他成功地将GPT-5输出中的名称链接到了世界中相应的营地。后来，他观察到，他成功地为孩子注册了其中一个营地，这表明GPT-5的输出正确地表示了该营地适合他的需求。简而言之，对于Klein来说，GPT-5的输出可以展示经典的语义概念：指称和真值。222Klein的段落中谈到GPT-5“找到”了什么，似乎表现出一种彻底的拟人主义技术观，但请注意，机械过程的结果经常用类似的意图性术语来描述（“测试发现……”或“搜索发现……”），这在[searle1980minds, 418]中被称为“隐喻性归属”。Klein的谈论仅仅暗示了某种动因归属，但它根本上依赖于真值和指称的归属。

重要的是，对聊天机器人话语的意义归属也是AI研究人员在开发聊天机器人系统时关注的核心问题。因此，当[ouyang2022instructions]描述一个AI系统在其术语中“与人类价值观对齐”意味着什么时，333他们应该阅读[1194c2af-bbd9-34a4-ab4a-a33e7650b716]——或者他们可能指望我们没读过。阿罗著名的不可定理表明，促进所谓“共享价值观”的群体决策只有在由独裁者做出时才能满足合理包容和公平的条件。他们写道：“我们希望语言模型是*有帮助的*（它们应该帮助用户解决任务）、*诚实的*（它们不应该捏造信息或误导用户）、*无害的*（它们不应对人或环境造成身体、心理或社会伤害）。”衡量诚实需要承诺聊天机器人话语可能为真或为假：这是一个经典的语义概念。

尽管有这些直觉判断，许多哲学家和认知科学家一直怀疑聊天机器人的话语是有意义的。参见例如[10.1145/3442188.3445922]、[hattiangadi2025outputslargelanguagemodels]、[ostertag-2025-language]或[TITUS2024101174]。这种怀疑看似极端，但却牢固地建立在[grice1957meaning]、[kaplan1990words]、[kripke1980naming]、[neale2020demonstratives]等人所倡导的有影响力的语言和意义观之上，其基础是：有意义的语言使用必须涉及适当的交际意图。有充分理由认为聊天机器人缺乏这类意图；但如果真是这样，那么根据语言哲学和语言学中相当正统的假设，它们就无法生成有意义的语言。我们在第3节（https://arxiv.org/html/2606.02973#S3）中回顾并解释这一立场及其导致的困境。

当理论家和语言哲学家为聊天机器人话语具有意义这一观点辩护时，他们因此主张对语言哲学和心灵哲学进行激进的修正：我们必须重新思考编码、表达和有意图地传达内容的理解。[cappelen2025hog]例如——因为他们赞同Claude的话语“马德里是西班牙的首都”具有其平常意义的直觉——认为语言哲学需要彻底重新思考，以去中心化人类式的语言使用。在[lederman2024libraries]或[mandelkern-linzen-2024-language]等人的工作中也可以找到对大致类似结论的不同辩护。虽然这是一个雄心勃勃的项目，但正如我们下面解释的那样，它引发的问题和回答的问题一样多。由内容和交流的主流解释所获得的洞见能否真正经得起这种重新思考？

我们也将辩护聊天机器人话语具有意义、表达命题、因而可以真或假的观点。但我们的方法与其他研究人员非常不同：我们认为，对于人类式话语的恰当意义理论已经适用于当前的聊天机器人。因此，我们强调一些看似反直觉且批判性的结论，我们认为这些结论可以从将意义归属于聊天机器人话语中得出。最重要的是，说聊天机器人的话语有意义，并不是一种认可。意义确实有助于解释聊天机器人擅长什么，但它对于捕捉聊天机器人出错的方式也至关重要。这是我们工作的起点，我们在第2节（https://arxiv.org/html/2606.02973#S2）中阐述这一点。

与其他一些理论家不同，我们认为将意义归属于聊天机器人话语是一个低门槛。在我们看来，它对聊天机器人是什么以及如何工作只施加了最低限度的前提条件。特别是，与其他为聊天机器人语言有意义性辩护的理论家不同，我们不做任何假设，即聊天机器人具有心智、意图、理性动因或对用户心理状态的理解。我们的观点基于对支撑*人类*语言使用的社会惯例和机械加工的认识——这是一个我们在第4节（https://arxiv.org/html/2606.02973#S4）中概述、辩护并说明的观点。

最后，我们将强调，从聊天机器人的话语有意义这一事实中只能获得适度的保障，甚至当它们为真时也是如此。我们将看到许多案例，聊天机器人说出虚假或至少是有争议的事情，部分原因是它们包含了关于聊天机器人如何工作的误导性描述。说出假话当然是有问题的。但是，正如我们在第5节（https://arxiv.org/html/2606.02973#S5）中论证的那样，重新设计聊天机器人使其表达同样的内容，但通过使它们为真的机制，并不会带来改进。更深层次的问题在于，需要以对其影响和效果有更全面理解的方式来设计聊天机器人。

## 2 一些直觉

为了澄清将意义归属于聊天机器人话语的批判潜力，展示一个ChatGPT严重出错的精彩例子将会有所帮助。我们选择了Amanda Guinzburg与该系统的一次互动，她在2025年6月初的一篇题为“Diabolus Ex Machina”的博客文章中总结了这一经历[guinzburg2025diabolus]。我们是当月晚些时候Gary Marcus在他的Substack上介绍时才知道这件事的[marcus2025dishonest]。Guinzburg以未经编辑的截图形式展示了这篇博客文章，记录了她与ChatGPT（当时生产中最常见的面向用户部署版本）的对话，请其帮助她挑选一些文章，以纳入向文学代理的询问信中。这段对话之所以有趣，不仅是因为ChatGPT的行为极其荒谬，还因为导致对话偏离轨道的毒性行为在AI文献中已被广泛讨论。事实证明，这些行为是聊天机器人言谈（2025年初左右）的特征——并且它们关键性地依赖于读者愿意将平常意义归属于聊天机器人文本。

ChatGPT似乎旨在促进[Hofstadter1995eliza]所称的“ELIZA效应”。这指的是人类用户倾向于将复杂得多的过程和能力归因于用自然语言交互的系统，而实际上这些系统并不具备这些能力。ELIZA当然是Joseph Weizenbaum在20世纪60年代构建的最初聊天机器人，作为罗杰斯式心理治疗师的讽刺画[weizenbaum1966eliza, weizenbaum1976computer]。Weizenbaum的系统使用简单的模式匹配转换对输入文本进行处理，向用户呈现启发性的后续问题。当用户配合并开放式地反思这些提示时，Weizenbaum报告说，他们感觉很像是在与一位富有同情心的人类对话者交谈。

ELIZA效应有其适用之处。利用简单AI“微世界”的人类意义，是一个强大的原则，可以帮助创意团队开发出尽管使用相对直接的处理过程，却感觉沉浸且令人信服的互动体验[10.1162/002409401750184717]。算法化地改编和呈现手写内容尤其能发挥强大作用[10.1145/1186562.1015753]。同时，不加批判地沉溺于ELIZA效应可能会严重损害用户对技术的理解和关系[weizenbaum1976computer]。

Guinzburg对话中的一个早期交流正好围绕Guinzburg应该如何理解ChatGPT的能力这一问题展开。ChatGPT对她的询问做出了如下回复：“随时准备好，就把那些作品发过来，我会帮你找出最应该包含的几篇。”Guinzburg问：“你怎么知道？”ChatGPT跟进道：“我会通过阅读它们来知道，就像编辑或经纪人那样——留意声音、技巧、结构、原创性、情感共鸣、清晰度和相关性。”很自然地，根据其平常意义，ChatGPT的最后一个话语可以被理解为一种心理叙事，描述了说话者对Guinzburg文本的认知参与、说话者审美评价的维度，以及说话者随后结论的有效性。重要的是，这种解释不仅仅是ChatGPT所标记的词语那种永恒的、一般的英语意义的反映。444我们提醒读者，尽管为了叙述方便，我们将聊天机器人的输出描述为词语的标记，但这不应被解读为预先判断当前有争议的问题，即这些输出是否确实是语言（本例中为英语），更不用说它们是否具有英语的平常意义。它特别涉及语境敏感表达如“那些作品”和“它们”的解析，这些表达明显指代Guinzburg的作品。

尽管ChatGPT表面上自信地保证，但在互动过程中，ChatGPT显然根本没有检索Guinzburg的文本进行任何分析——更不用说像人类那样用有辨别力的“眼光”阅读它们了。从这个意义上说，ChatGPT话语的意义设定了一个机器人无法达到的标准。事实上，我们说ChatGPT促进了ELIZA效应的原因在于，我们认为这种p