预示人们为何与ChatGPT分享秘密的聊天机器人

# 那个预言了人们为何向ChatGPT倾诉秘密的聊天机器人 来源：https://www.wired.com/story/inventing-eliza-book-excerpt-chatbot/ 在ELIZA（https://www.wired.com/story/chatbot-kill-the-queen-eliza-effect/）影响计算和文化的60年里，传统叙述将其描述为我们现在所称的聊天机器人（https://www.wired.com/tag/chatbots/）的最早范例——一个能够像自动心理医生一样交谈的程序。这个看似简单的程序以"欺骗"了甚至包括目睹麻省理工学院教授约瑟夫·魏岑鲍姆创建它的秘书而闻名。故事就是这样讲的。 然而，在所有那些叙述中——即使在它经历了各种编程语言和研究领域的改编，出现在课堂和流行文化中之后——一个关键部分始终缺失：ELIZA程序本身的源代码。我们的新书《Inventing ELIZA》从麻省理工学院档案馆中恢复了这份源代码，首次提供了对这段代码的细读和讨论，以及ELIZA脚本中新发现的对话，这些脚本超越了其广为人知的"医生"角色。 这项调查揭示了许多个ELIZA：在其不同版本的程序中，旨在运行各种脚本或角色，通过一系列技术创新构建而成。《Inventing ELIZA》旨在通过探讨ELIZA的误解、多个版本和缺失代码，修正并复杂化ELIZA的历史和影响。在这段书摘中，我们考察了ELIZA最早的一次互动，它如何为未来数十年人类与计算机的关系奠定基础，以及这个复杂的程序如何继续反映当今AI行业不受约束的驱动力。 --- 男人都一样。 在哪方面 他们总是为了某件事烦我们。 你能举个具体的例子吗 嗯，我男朋友逼我来这里。 你男朋友逼你来这里 他说我大部分时间都很抑郁。 听到你抑郁我很难过 那段对话被无数次转载，激励程序员和作家构思出许多后来的聊天机器人。然而，越是仔细审视那段对话，问题就越多：这个年轻女孩是谁？她是真人，还是ELIZA创造者约瑟夫·魏岑鲍姆的虚构？ELIZA系统究竟如何生成它的回应？这些回应被编辑了多少？为什么这个系统如此有效地吸引人们？ ELIZA及其"医生"角色帮助催化了一种思维模式，以及对人们与计算机关系的焦虑。魏岑鲍姆在他1976年的著作《计算机力量与人类理性》中探讨了这一点，引用了哲学、社会和政治的批判。他的程序所呈现的独特人机交互揭示了新形式的人机关系将产生的深远影响，他试图探索并反驳这些影响。在看到公众反应后，魏岑鲍姆对人们迅速且通常是情感上的依恋感到震惊，他认为这是"明确证据，表明人们是在与计算机交谈，仿佛它是一个可以用亲密语言恰当且有用交流的人"。将同理心归因于计算机并向其投入私密情感的倾向让魏岑鲍姆困惑。他担心人们在多大程度上将理性与计算联系在一起，并将理解和智能赋予根本不存在的计算机系统。 这种倾向被称为"ELIZA效应（https://www.wired.com/story/chatbot-kill-the-queen-eliza-effect/）"。到1991年，这个术语出现在在线论坛上，但它的使用早于那个年代几十年。社会学家雪莉·特克尔（https://www.wired.com/story/sherry-turkle-new-memoir-loneliness-going-remote/）将"ELIZA效应"定义为"我们更普遍的一种倾向，即认为响应式计算机程序比它们实际更智能。极少的交互性就导致我们将自己的复杂性投射到不值得的物体上"。认知科学家和计算机科学家道格拉斯·霍夫施塔特将其描述为"人们倾向于从计算机串连起来的符号串——尤其是词语——中解读出远比实际更多的理解"，这种倾向很容易适用于今天的生成式AI系统。 要理解ELIZA的力量和挑衅性，我们可以看看计算机科学家艾伦·图灵在论文"计算机器与智能（https://courses.cs.umbc.edu/471/papers/turing.pdf）"中提出的著名挑战，图灵在其中提出了"机器能思考吗？"这一问题。图灵以一个客厅游戏作为思想实验的基础——不是关于技术，而是关于性别：一个男人和一个女人被藏在不同的房间里，一个询问者通过提问试图识别谁是什么性别。男人试图误导询问者，假装成女人，而女人则试图说服询问者"正确"答案。也就是说，两人都声称自己是"真正的"女人，这是对性别本质主义观念的一个挑战。 在他对这个游戏的修订中，图灵将最初的性别问题替换为现在所谓的图灵测试。在这个挑战中，机器假装成男人，而不是男人假装成女人。图灵选择最初的性别模仿游戏不仅仅是一个开场策略，它确保了人工智能将始终与性别和身份问题纠缠在一起。在这个意义上，模仿、变装和性别解构为AI和智力的表演奠定了基础。魏岑鲍姆的ELIZA接续了图灵的工作，尤其是对话的开场白："男人都一样。" 尽管如此，尽管魏岑鲍姆在1966年介绍ELIZA的论文中引用了图灵的模仿游戏，但他明确将自己的创造与任何智能主张划清界限： > 理解的关键测试……不是主体继续对话的能力，而是得出有效结论的能力……为了让计算机程序能够做到这一点，它至少必须有能力存储其输入的选择部分。ELIZA丢弃了它的大部分输入……ELIZA到目前为止的使用中，其主要目标之一就是隐藏其缺乏理解。 这一评估表明，ELIZA从未打算通过图灵测试，而是旨在探讨可能导致人类误解其能力的心理因素。 在这一传统中，ELIZA继续玩弄表演性身份的概念，作为由按脚本回答组成的角色载体——无论是字面上还是比喻上。魏岑鲍姆以伊莉莎·杜利特尔命名该系统——一个工人阶级女性角色，被教导伪装成上层阶级白人女性——从而延续了图灵关于身份表演的挑衅。"我选择'Eliza'这个名字，"魏岑鲍姆说，"因为，就像萧伯纳《皮格马利翁》中著名的伊莉莎·杜利特尔一样，这个程序可以被教会'说'得越来越好，尽管，也像杜利特尔小姐一样，它是否变得更聪明从未完全清楚。" 正如萧伯纳的伊莉莎通过语言转换表演种族、民族、阶级、性别和性取向，ELIZA系统通过脚本化和重复的语言模式与转换来表演假定的角色，但不具备人类般的理解。女性主义哲学家朱迪斯·巴特勒的性别表演性理论提供了一个思考这个问题的可能框架。巴特勒认为，性别和性取向不是天生的，而是通过重复行为表演出来的。它们是迭代的。正如伊莉莎·杜利特尔通过表演言语帮助自己融入上层阶级而挑战阶级假设，魏岑鲍姆的系统通过言语行为（或代码行为）和示例对话来表演如医生这样的角色，这些对话表演了带有性别、阶级和种族化的身份。 图片可能包含：约瑟夫·魏岑鲍姆，成人，坐着，头部，面部，摄影，肖像，配饰，眼镜 ELIZA创造者约瑟夫·魏岑鲍姆 摄影：Wolfgang Kunz/Getty Images 通过这种方式，ELIZA既强化又挑战了关于性别化和具身化交流的假设。有趣的是，在已发表的对话和关于ELIZA的流行故事中，与程序一起出现的女性仍然没有名字。她们与一个叫医生的治疗师交谈，这个名字虽然在今天没有性别标记，但在1960年代听起来像是一个男性的头衔。因此，那些暗示这些女性向这个人工医生吐露秘密的故事带有性别化的信息，包括一个人可以脱离身体的幻想。这样，ELIZA系统成了一个场所，在这里身份、表演性和具身化问题通过历史算法上演，对当代AI系统产生影响。 随着规范、价值观和意识形态嵌入算法形式，探索像ELIZA这样的软件对象的细节揭示了关于软件可以且应该是什么的文化和历史特定假设，包括关于技术为何而存在以及如何发展的观念。虽然ELIZA可能在当代观众看来不够复杂，但它在1960年代就已经解决了许多至今在我们的系统中仍然存在的设计问题。从根本上说，这些系统问的是人类和机器应该如何互动，交流如何能够通过计算方式表示，以及机器能够在多大程度上被赋予影响用户的能力。 ELIZA是一个常见的参照点，不仅因为它是最早的聊天机器人之一，帮助开创了计算代理的领域，还因为它与之后许多计算创新相交织。随着字符串处理和文本分析的发展，它影响了文本合成、实体识别和情感分析的研究。它与机器翻译、语义网络、语音识别、语音合成以及其他发展成为我们现在称为自然语言处理（NLP）任务组的技术同时出现。NLP是计算领域，处理计算机如何解析、交互、处理和输出人类使用的语言，而不是计算机使用的编程语言。在实践中，这些任务通常被组合起来创建自动化代理和许多其他类型的系统。 类似ELIZA的聊天机器人界面在当代大型语言模型中的重现表明，早期软件谱系可以帮助我们理解新技术。ELIZA是新兴模型的一个有用对照，因为尽管许多事物已经改变，但更多的事物保持不变。NLP的历史起源于并与ELIZA时代及麻省理工学院等机构的早期AI工作重叠。在那个领域，趋势来来去去：尽管不同风格——句法、语义、统计、随机——在不同时期流行，但所有风格都继续并行发展。即使现在，最新的大型语言模型以其文本输出看似智能而令观察者惊叹，像OpenAI的ChatGPT（生成式预训练变换器）这样的当代系统的实际力量被隐藏在其聊天机器人界面之后，这些界面与魏岑鲍姆的原型保持相似。这些诱人的外表掩盖了机器内部的东西，这些机器通常包括统计预测、基于规则的程序以及伪装成机器劳动的人类劳动的组合。从用户的角度来看，这限制了区分炒作与实质的机会，难以理解每个系统如何运作，以及为什么产生某些输出。 魏岑鲍姆警告了这种混淆可能造成的许多问题。例如，它可能导致剥削，因为人类被替代、伤害或不公平对待。正如魏岑鲍姆所说，"一个人每当被当作一个不完整的人对待时，他就被非人化了。各种形式的人类和社会工程……正是如此，因为它们绕过了所有的人类语境，尤其是那些赋予人类语言真正意义的语境。"魏岑鲍姆认为，将语言从其社会语境中剥离并作为计算系统中的抽象概念集处理，可能是非人化的。它有可能忽略语言固有的多重含义，这些含义在AI系统中无法完全捕获，并可能导致直接的伤害、权利侵犯、隐私泄露、剥削、流离失所和歧视。这就是为什么在设计、部署和使用自动化系统时，考虑更广泛的伦理和社会影响至关重要。 新兴的大型语言模型支持一类新的知识驱动系统。在表面之下，聊天机器人界面运行在社会劳动之上。其机器由数百万计的人类写作和对话痕迹支撑，这些痕迹通常在没有创作者知晓或同意的情况下被吸入数据集。这种劳动使得自动化的文化生产得以实现，这种生产被按需管理、控制、监控、分解和重新整合。这通过软件抽象化人类文化生产，将其视为计算系统的常备储备（类似于电力或供水，但被私有化和垄断）。 正如朗登·温纳在1977年所观察到的，"无生命的工具能够'听到命令或通过智能预期'自行完成工作，即通过计算机程序，这是可能的。这种发展导致了这样的猜想：工业技术的完善最终将使人类从辛劳中解放出来。"这是OpenAI、Anthropic及其他AI公司今天重复的一个常见叙事。然而，计算始终由人类劳动服务——即使聊天机器人当前管理客户查询和问题，帮助做作业并取代助教，作为伴侣和顾问交谈，以及娱乐并纠缠于身份和人类例外主义的概念。它们还帮助产生大量AI垃圾，这些垃圾正在吞噬其源材料和地球的自然资源。ELIZA可能激发创建认知工厂和AI垃圾的计算系统，这一想法很可能让魏岑鲍姆感到恐惧。从某种意义上说，这是控制论系统的实现，试图将机器和人类紧密耦合到紧密的反馈回路中——这正是魏岑鲍姆在《计算机力量与人类理性》中警告的威胁。 在那本书和其他ELIZA后的著作中，魏岑鲍姆作为早期批评者发声，反对我们现在所说的科技行业及其指数级加速的心态，无论它可能编码的剥削关系，以及抽象化计算系统的社会和政治后果。他自己与技术的关系在目睹ELIZA的影响以及自动化系统被扩大规模并用于获取权力的方式后发生了转变，这些趋势随着公众对"智能"机器的出现既着迷又不安而持续。 --- *摘自《Inventing Eliza: How the First Chatbot Shaped the Future of AI》。版权所有 © 2026，作者：Sarah Ciston, David M. Berry, Anthony C. Hay, Mark C. Marino, Peter Millican, Jeff Shrager, Arthur I. Schwarz, 和 Peggy Weil。经出版商麻省理工学院出版社许可使用。保留所有权利。*