Emily Bender 所说的“Stochastic Parrots”真正含义是什么

# 艾米丽·M·本德所说的"随机鹦鹉"的真正含义 来源：https://spectrum.ieee.org/stochastic-parrot 2021年3月，四位研究人员——语言学家和计算机科学家的合作团队——发表了他们如今堪称传奇的论文"论随机鹦鹉的危险：语言模型能太大吗？(https://dl.aclanthology.org/2020.acl-main.463.pdf)🦜" 该论文当时获得了广泛关注（部分原因是Google(https://spectrum.ieee.org/tag/google)在论文发表前不久解雇了两位作者Timnit Gebru(https://spectrum.ieee.org/timnit-gebru-dair-ai-ethics)和Margaret Mitchell）。论文指出，大型语言模型(https://spectrum.ieee.org/tag/large-language-models)(LLMs)通过统计预测最可能的词语序列来生成文本，而非理解自己在说什么——作者用"随机鹦鹉"的比喻来概括这一过程，即一个重复模式但不理解含义的系统。在过去的五年里，这个类比已远远超出了其起源的学术领域，引发了争论，并催生了诸如一款名为"随机鹦鹉(https://www.media.mit.edu/projects/the-stochastic-parrot/overview/)"的肩戴机器人等项目。 但这种更广泛的使用也导致了人们对这个短语原始含义的误解。该论文的第一作者、华盛顿大学计算语言学教授Emily M. Bender(https://faculty.washington.edu/ebender/)最近撰写了一篇博客文章(https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-questions-49c2e7d22d11)，在论文发表五周年之际澄清常见的误解。 本德与**IEEE Spectrum**就这些误解、计算语言学领域以及当前围绕人工智能的讨论进行了交谈。 ## "人工智能"这个词有什么问题 **你如何描述你作为计算语言学家的研究？** **Emily M. Bender:** 语言学，非常概括地说，是研究语言如何运作以及我们如何运用语言的学问。我为这个领域做出贡献，同时也从事计算语言学研究，培训那些将要去构建语言技术的学生。 语言技术本身是独立且有趣、有价值的，无论某人是否想将其用于他们的人工智能项目。语言技术包括自动转录、机器翻译(https://spectrum.ieee.org/tag/machine-translation)、拼写检查等。我亲自做的很多工作，在构建东西时，都与构建既可机读又可供人类阅读、能对不同语言的语言现象进行建模的语法有关。这是关于利用计算机为语言假说验证服务。 **你曾主张"人工智能"这个词遮盖多于阐明。为什么？** **Bender:** 原因很多。我认为，如果我们讨论技术的方式没有说清楚技术本身是什么，那么我们就很难对技术进行良好的讨论并做出明智的决策。"人工智能"这个短语既将截然不同的技术混为一谈，又过度吹嘘了每一种技术的能力。所以，如果我们想决定是否要使用某样东西，如何监管某样东西，那么用更清晰的描述会更加有益。 **在日常对话中，AI几乎成了"聊天机器人"或"LLMs"的同义词。这是一个问题吗？** **Bender:** 对很多人来说，他们会说："我用它来做某某事。"那么你说的"它"指的是什么？然后他们会说："哦，我指的是Claude"或ChatGPT(https://spectrum.ieee.org/tag/chatgpt)或Gemini，所以他们谈论的是这些聊天机器人(https://spectrum.ieee.org/tag/chatbots)。但其他人会说："你不能说AI都是坏的，那AlphaFold(https://spectrum.ieee.org/alphafold-proves-that-ai-can-crack-fundamental-scientific-problems)呢？" 所以，是的，对很多人来说，他们谈论的是基于大型语言模型构建的聊天机器人，但（他们）也不清楚这些东西与AlphaFold之类的是不同的。而且当新闻报道说"科学家使用AI发现新药(https://spectrum.ieee.org/isomorphic-labs-ai-drug-discovery)"时，那么他们到底用了什么？如果他们谈论的东西要狭窄得多，也许是蛋白质折叠(https://spectrum.ieee.org/tag/protein-folding)，也许是其他某种统计建模，像天气建模(https://spectrum.ieee.org/ai-weather-forecasting)。那是与ChatGPT截然不同的技术类型。 **你认为像"人工智能"这样的总括性词汇有价值吗？** **Bender:** 嗯，对那些试图推销这个的人来说是有价值的——比如科技公司试图提高它们的估值。另外，按照目前研究资金的设置方式，如果你不把你的研究称为人工智能，就很难获得资助。我认为这总体上是一个负面影响，但对于任何一个困在该系统中的个体来说，这在当下可能有价值。 ## "随机鹦鹉"是如何被误解的 **关于"随机鹦鹉"这个比喻，最常见的误解是什么？** **Bender:** 我认为最大的误解之一是"本德说AI是一只随机鹦鹉"。那篇论文写于2020年底。我们当时谈论的是大型语言模型。我很确定*AI*这个词只在全文最后出现了一次，而且是在讨论如果开发旨在完成人类所做之事的系统，必须非常小心不要创造出可能被误认为是人的东西。这些系统被设计成模仿我们使用语言的方式，这使得人们很容易将它们误认为是其他人。 所以在论文中，接近结尾处我们某种程度上将其推广到了AI。但"随机鹦鹉"这个短语特指大型语言模型，而"人工智能"这个短语指代很多不同的事物。所以我们从未声称一个棋类引擎、或AlphaFold、或图像标注系统、或机器翻译系统——这些有时被称为人工智能的东西——是随机鹦鹉。我们特指使用大型语言模型来生成合成文本。 另一个误解是，"随机鹦鹉"被其他人拿来当作一种贬低或侮辱。我本意并非如此。其他人可能那样用它，但那不是我的意图，因为它只是对这些系统实际是什么的一种描述。将其视为侮辱，要么需要相信大型语言模型是那种可以被冒犯的东西（它并非如此），要么需要认为这些大型语言模型应该被理解为通向某种我并不认同的人工智能宏伟理想的步骤。 我在很多地方做的——章鱼思想实验(https://aclanthology.org/2020.acl-main.463.pdf)、随机鹦鹉、"合成文本挤出机"这个短语——都只是为了向那些不从事语言技术构建的人们生动地说明这些系统实际上在做什么，这与侮辱系统或侮辱喜欢系统的人不是一回事。 相关文章：伟大的聊天机器人辩论：它们真的理解吗？(https://spectrum.ieee.org/ai-chatbot) **对于不知道的读者来说，"章鱼测试"来源于2020年的一篇论文，该论文设想了一只章鱼识别通过海底电缆(https://spectrum.ieee.org/tag/undersea-cable)传递的消息中的统计模式。通过章鱼测试和随机鹦鹉，你已经几次使用动物比喻。这是有意为之的吗？** **Bender:** 不，不是有意的。对于章鱼思想实验，我最初是用海豚来讲故事，因为海豚(https://spectrum.ieee.org/tag/dolphins)显然是聪明的动物(https://spectrum.ieee.org/tag/animals)。那篇论文的合著者Alexander Koller(https://www.coli.uni-saarland.de/koller/)说应该用章鱼，因为首先，章鱼生活的环境与人类生活的地方截然不同。这让比喻更加生动，即章鱼只能感觉到电缆中的这些脉冲，无法看到人们在看什么。而且，章鱼天生就更有趣。 **我回顾那篇论文时惊讶地发现，"随机鹦鹉"这个词实际上在正文中只出现了两次。你们为什么把它放在标题里？** **Bender:** 因为我们喜欢它！而且一个吸引人的标题是学术论文很好的自我营销。论文中这个词不多的原因是我们当时实际上在审视使语言模型变得更大的全方位风险。"大型语言模型"这个短语也没有出现在论文中，因为当时人们还不是那样谈论它们的。 所以关于合成文本的那一节，在某种感觉上我们当时如履薄冰，因为在那个时间点很难想象会有人想要合成文本。当OpenAI(https://spectrum.ieee.org/tag/openai)把ChatGPT强加给世界时，论文的那部分变得重要得多。这时论文的特定部分就显得重要了。但我们也讨论了环境影响。我们讨论了这些系统会吸收其训练数据偏见的方式。我们讨论了训练数据从来都没有被很好地收集。里面有很多不同的观点，而合成文本的问题只是其中之一。 **MIT(https://spectrum.ieee.org/tag/mit)媒体实验室的研究人员创建了一个随机鹦鹉机器人，作为对许多聊天机器人倾向于谄媚或过度附和这一观察的回应。这个趋势与你论文中提出的危险有关联吗？** **Bender:** 当我们在2020年底写那篇论文时，当时人们对于合成文本和聊天机器人并不是特别兴奋。聊天机器人早已存在。我们有Weizenbaum在1960年代的Eliza(https://spectrum.ieee.org/why-people-demanded-privacy-to-confide-in-the-worlds-first-chatbot)，然后是那些非常烦人的自动客服系统，它们随着大型语言模型变得流畅得多，但烦人程度丝毫未减。 所以情况就是这样。OpenAI发布了GPT-2和GPT-3(https://spectrum.ieee.org/tag/gpt-3)让人们试用，你可以让它们挤出合成文本，但聊天界面还没有被包裹上去。我们也没有看到额外的训练层导致那种被解释为谄媚的行为。你得到聊天机器人说"哦，好主意"，或者如果你说你错了，它说"哦，很抱歉，你是对的"，那种回应与超出原始预训练的额外训练层(https://www.ibm.com/think/topics/rlhf)有关。 **你希望更多人对语言模型理解什么？** **Bender:** 每当我有机会时我都会传达的信息是，当这些系统中产生的文本有意义时，那是因为我们自己在赋予它意义。这也在随机鹦鹉论文中提到过。每当我们评估这类技术时，我们必须考虑我们理解语言的能力，并在我们判断技术正在发生什么时将其纳入视野。这在讨论中常常被忽略。 **如果你现在要重做或更新随机鹦鹉论文，你会有什么改变吗？** **Bender:** 有一大类的危害我们当时在论文中没有涵盖，那就是剥削性的劳动实践。在这一点下，我既包括许多数据工作者面临的恶劣条件，也包括对这些系统赖以存在的、人们创意和智识产出(https://spectrum.ieee.org/generative-ai-ip-problem)的大规模盗窃。这些问题本应被包含在论文中。并不是说当时世界上不知道这些问题，但它们没有进入我们综述的内容，理应被包含进去。 *本文于2026年7月1日更新，以澄清随机鹦鹉论文作者的研究领域。*