Stochastic Parrots: 鲜有被问及的问题

# 随机鹦鹉 🦜：那些鲜少被问及的问题 来源：https://medium.com/@emilymenonbender/stochastic-parrots-frequently-unasked-questions-49c2e7d22d11 作者：Emily M. Bender (https://medium.com/@emilymenonbender?source=post_page---byline--49c2e7d22d11---------------------------------------) 距离那篇《随机鹦鹉》论文(https://dl.acm.org/doi/10.1145/3442188.3445922)（Bender, Gebru 等人，2021）发表已经过去五年多（从谷歌因其对我的合著者的解雇而将其变成一件大事(https://faculty.washington.edu/ebender/stochasticparrots)算起，时间则更久）。在那段时间里，我一直在社交媒体上观察着*随机鹦鹉*这个词组，最初是出于语言学的兴趣（亲眼目睹一个新造词从诞生之初如何演变，这种情况很少见）。早期，我看到的大多数用法是人们在引用这篇论文，然后是读过论文的人将大型语言模型称为随机鹦鹉。但最终，这个词组的影响力超越了论文本身，人们将其作为一个指代LLM的通用说法。 追踪这个词组也让我得以一窥关于“AI”的网络讨论中那些我原本不太会接触到的部分。在这些讨论中，我看到了很多误解，主要涉及两个方面：a) 大语言模型的工作原理，以及 b) 我自己在这个主题上的工作。因此，现在似乎是做些祛魅工作、回答那些人们经常不先问问自己的问题的好时机。下面你会看到的不是问题，而是人们常说的各种说法——在他们本应停下来问个问题的时候。 为了紧扣相关文本，以下是我们**在原始论文中** (https://dl.acm.org/doi/10.1145/3442188.3445922)引入这个术语的地方： > 语言模型生成的文本并不植根于交际意图、任何世界模型或任何对读者心理状态的模型。它不可能是，因为训练数据从未包含过与听者分享想法的内容，机器也缺乏这样做的能力。鉴于自动生成文本日益流畅的特性，这似乎有悖直觉，但我们必须考虑到这样一个事实：我们对自然语言文本的感知，无论其如何生成，都受到我们自身语言能力的调节，以及我们倾向于将交际行为解释为传达连贯意义和意图的倾向，无论它们是否真的如此[89, 140]。问题在于，如果交流的一方没有意义，那么对隐含意义的理解就是一种幻觉，源于我们人类对语言的独特理解（独立于模型）。与观察其输出时所看到的外观相反，语言模型是一个系统，它根据关于如何组合的统计信息，将在其庞大的训练数据中观察到的语言形式序列随意拼接起来，却完全不涉及任何意义：一个随机鹦鹉。（第616-617页） *随机鹦鹉*这个短语是（众多尝试中的）一个尝试，旨在生动地说明大语言模型在用于合成文本时到底在做什么。在后续工作中 (Mystery AI Hype Theatre 3000 (https://dair-institute.org/maiht3k/),*The AI Con* (https://thecon.ai/)), 我还增加了*合成文本挤出机*这个说法，用来描述那些密切模拟其输入数据中哪些词语片段倾向于共现，并可被用于——嗯——挤出合成文本的系统。 ### Bender 说“AI 是随机鹦鹉” 我从未、也永远不会说“AI”是随机鹦鹉，因为我拒绝使用“AI”来描述技术（LLM 或其他）。此外，撰写于 2020 年 9-10 月的《随机鹦鹉》论文根本不是一篇关于“AI”的论文，而是一篇关于追求更大语言模型所带来的风险和危害的论文——当时这些模型大多尚未被用于挤出合成文本。（OpenAI 已经发布了 GPT-2 和 GPT-3 供人把玩，但这距离他们将 ChatGPT 强加给世界、合成文本突然成为所有人的问题，还有两年时间。）术语“AI”在文中只出现了一次，接近结尾处，我们写道： > 关于合成人类行为的工作是伦理AI发展中的一条清晰红线，需要理解和建模下游效应，以防止对社会和不同社会群体造成可预见的伤害。（第619页） 我相信这个具体的见解及其措辞，归功于 Margaret Mitchell（又名 Shmargaret）。在随后的几年里，这个观察不幸地被反复证实：关于合成人类行为的工作不幸地持续加速进行，而可预见的危害也（正如预测的那样）发生了。 ### Bender 说 \[某个模型\] “只不过”是一只随机鹦鹉 请允许我在这里稍微跑题谈谈语言学。单词*只是 (just)*是一种能唤起尺度或等级感的词。例如，“她*只*有五英尺高”将她置于身高尺度上，并进一步暗示她的身高在该尺度上的位置低于预期、期望值或正常/规范值。所以，当有人说我说某个模型“只是”一只随机鹦鹉时，他们同样是在归因于一个尺度——也许是功能性的尺度（或者，在我一直反对的拟人化语言中是“能力”的尺度）——并声称我正将某个模型置于该尺度的错误位置，或者至少是一个低得令人惊讶的位置。 这误解了我使用*随机鹦鹉*这个短语的意图，以及我们在那篇论文中总体上的意图。虽然我不能代表我的合著者，但我并未投身于“AI”这个项目，不认为它是一个值得追求（甚至可行）的目标，也没有在朝着该目标进步的任何尺度上衡量大语言模型。在一个完全被营销宣传所淹没的世界里（这些营销散布着合成文本挤出机是“AI”，甚至是“AGI”的观念），我试图做的是帮助人们理解这些系统到底是什么：旨在模仿人们使用的语言（特别是语言形式）的系统。 这里一个重要的相关点是，尽管所有这些系统（Claude、Gemini、ChatGPT 等）都将专门设计用于产生合成文本的 LLM 作为关键组件，但这并不意味着没有其他组件，正如 Margaret Mitchell 也**指出的那样** (https://medium.com/@margarmitchell/no-ai-is-not-a-stochastic-parrot-a99e57766bed)。历史上我们用计算机做的大部分事情并不是通过挤出合成文本就能很好地近似模拟的。因此，如果一家公司的目标是将其产品描绘成功能性的，那么明智的做法是，例如，在用户输入上运行文本分类系统以拦截任何算术查询，并将其路由到真正的计算器。 ### *“随机鹦鹉”*是对 LLM/“AI”的批评 我经常看到人们谈论“对 LLM 的随机鹦鹉批评”，但这也误解了——至少是我使用这个词组的方式。（这可能是对其他人如何使用它的准确描述。）我当然对“AI”这个项目，以及人们使用合成文本挤出机（即 LLM）的方式持批判态度。但我批评的目标不是模型本身。相反，我关心的是**人的行为**：数据盗窃、剥削性的劳动实践、随意创建数据集且未能记录、完全无视环境影响，以及那么多人惊人地愿意放弃自己的权力，求助于无人问责的合成文本来做各种重大决定。 ### “随机鹦鹉”是一种侮辱 围绕这个词组的讨论中另一个常见说法是声称*随机鹦鹉*是一种侮辱（甚至是诽谤）。从一种角度理解，这要求 LLM 是那种能够感受到或被冒犯的事物，但它们显然不是。但确实，也可以侮辱某人的工作，或他们购买的消费产品等等。就此，我请读者回顾前两点。 也有人指出，这个新造词对真正的鹦鹉有些不公平——据我所知，鹦鹉确实有内心生活，并且确实带着某种交际意图使用其模仿人类语言的能力。我最好的回答是，尽管*stochastic parrot*中的*parrot*是一个名词，但我并非直接借用这种鸟的名字，而是借用英语动词*to parrot*，意思是机械地重复而不理解。 ### *它不可能是随机鹦鹉，因为它想出了新东西！* 这一点忽略了*随机鹦鹉*中*随机 (stochastic)*的作用，*随机*意思是根据某种概率分布随机生成。这些系统输出的通常不是对其输入的简单复述，而是对输入的**重新混合**。这种重新混合由系统在多个步骤中被构建（“训练”）的特定方式、“系统提示”（一个通常用户看不到的、附加在用户输入前的提示）以及用户输入本身所塑造。换句话说，这些系统用它们的训练数据制作纸浆，围绕这些其他组件的气球进行塑形。 ### 随机鹦鹉的论点 \[是错误的，已经过时了，等等\] 这个说法很有趣，因为每当一家公司推广新模型时，它就会以同样的形式出现。“随机鹦鹉在 \[某年\] 可能是一个准确的描述，但现在不再是了，因为……”然后引用作者被惊艳到的某个演示。这被冠以宣告“真正”的“AI”到来的名号——一遍又一遍，周而复始。 但*随机鹦鹉*（至少在我的写作中）不是一个论点。它是一个描述或隐喻，同样是试图生动地说明语言模仿机器在做什么。 ### 随机鹦鹉假说已被证伪 *随机鹦鹉*也不是指一个经验性假说。因此，说它被“证伪”或它是“不可证伪的”是没有意义的。 在我的写作中，这个领域里最接近假说的东西是 Bender 和 Koller 在 2020 年**论文中** (https://www.aclweb.org/anthology/2020.acl-main.463/)（那个有章鱼思想实验的论文）提出的论点（同样不是经验性假说）。《随机鹦鹉》论文引用了这篇更早的论文，它阐述了语言模型不理解它们被用来处理的文本的论点，因为语言模型只能接触到训练数据中的语言形式（即词语的拼写）。 在那篇论文中，我们将理解定义为从语言到语言之外事物的映射，并表明仅基于语言形式构建的系统没有可以编码（“学习”）这种映射的立足点。 ### 它们不是随机鹦鹉，因为现在它们是多模态模型 随机鹦鹉这个词最初是用来指代语言模型的，即仅基于语言形式训练、用于模仿人们使用的那种语言形式序列的系统。确实，像图像/文本模型这样的系统——可用于从语言字符串映射到图像或反之——可以被认为符合 Bender & Koller 2020 (https://www.aclweb.org/anthology/2020.acl-main.463/) 中对**理解的定义**——尽管是以一种极其薄弱的方式。但是，随机鹦鹉的框架对于这些模型以及基于它们构建的系统仍然极其相关。正如上面引用的： > 我们必须考虑到，我们对自然语言文本的感知，无论其如何生成，都受到我们自身语言能力的调节。 当我们看待图像/文本模型中的文本时，我们以一种丰富多彩且饱含社会情境的方式去理解它，如果我们想保持对这类模型实际运作方式的清醒认识（以及我们在何种情况下应该愿意使用它们），就不能将这种理解投射到模型身上。同样的情况也适用于图像，尽管通常它们并非主要通过语言能力本身来体验。 正如我们在《随机鹦鹉》论文中所写： > 语言模型虚假的流畅性和连贯性带来了若干风险，正是因为人类准备好将他们所说的语言中的字符串解释为有意义的，并对应于某个或某些对所说话语负有责任的个人的交际意图。（第617页） 用户界面，如果设计良好，应该是透明的，即为用户提供关于系统能可靠做什么的清晰信息。即使像文本/图像模型存在某种薄弱的“技术理解”，只要我们在使用语言时仍然遵循我们一贯的方式（而且我不认为我们能避免这样做），那么它使用了我们的语言这一事实本身就会发出关于实际运行情况的误导信号。 ### “随机鹦鹉”没有捕捉到政治经济学 这一点很突出，因为它通常来自其他对“AI”持批判态度的人，但他们对于不来自自己视角的批评缺乏耐心。当然，*随机鹦鹉*这个短语本身并不是对公司和政府使用这些系统来规训劳动力和集中权力方式的社会学批判。要求一个为了生动描述软件基本功能而创造的短语承担这种作用，似乎是一种范畴错误。如果你想要社会学分析，我推荐*The AI Con* (https://thecon.ai/)，该书由我与一位社会学家（了不起的 Dr. Alex Hanna）合著。 ### Bender 实际上并没有创造这个词组 我在写论文时想出了这个词组，然后怀疑自己是否在哪里听到过。截至 2020 年 10 月初，在谷歌上搜索“stochastic parrot”返回零结果。我也在社交媒体上询问过。结果发现有两个准前身： 在 2020 年 7 月的**Daily Nous 的一篇帖子中** (https://dailynous.com/2020/07/30/philosophers-gpt-3/)（在我造词之前我并未读过），Regina Rini 写道： > 只要我们得到了我们想要的——去药房的路，一场激动人心的口水战，一些新鲜有趣的网络迷因——那么我们就不会费心去测试我们的对话者到底是人类还是全电子的**统计学鹦鹉**。这就是未来的样子。GPT-3 以在线语料库为食，并将其腐肉热量转化为我们同类的小鸟。 对我来说更直接的灵感来自 Stuart Russell 在 2020 年 9 月发给 Alexander Koller 和我的关于我们**ACL 2020** (https://www.aclweb.org/anthology/2020.acl-main.463/)论文（就是有章鱼思想实验的那篇）的一封电子邮件： > 我以越来越难以置信的态度看着 NLP 社区越来越迷恋它的**随机鹦鹉**。这篇论文是一缕理智的清风。 一旦我意识到这个联系，我发邮件给 Russell 提出要添加一个脚注表示致谢，把它写进《随机鹦鹉》论文中（在 2020 年 10 月，论文公开之前）。他婉拒了。 ### Bender 只是因为她毕生的工作/她的领域已经过时而生气 与此相关的一点是，我观察到的讨论有时会出现一种“酸葡萄”论点，即人们认为我“批评 LLM/‘AI’”的动机（见上文）只是因为我酸了，因为我的语言学家工作（更具体地说是语法工程，这是一种符号化的而非统计的自然语言处理方法）不知何故被 LLM 颠覆或取代了。我可以向你保证，研究语言如何运作、我们如何运用语言以及如何用计算机来做这些事，仍然非常有趣且值得。而且事实上，语言学领域在当下尤为重要，因为迫切需要一位语言学家的视角来看待语言技术，以帮助我们做出关于如何使用和不使用这些产品的明智决策。