Steven Pinker 解释他为何不是 AI 末日论者

# 致斯科特·亚历山大的公开信 来源：https://quillette.com/2026/09/26/an-open-letter-to-scott-alexander-steven-pinker-ai-alignment-safety/ 科学/技术（https://quillette.com/tag/science-tech/）人工智能的危险是真实存在的，但末日论可能适得其反。 致斯科特·亚历山大的公开信：塞缪尔·科尔曼的《末日边缘》（局部），1836–38年，描绘了古典文明在火焰中崩塌，莎士比亚雕像矗立其中。布鲁克林博物馆藏。> 我认为你把我们污蔑为妄想症和荒谬的次数已经够多了。下一步是你应该在公众面前，面对质疑者来捍卫你的立场。我乐意在任何时间、任何地点与你进行辩论。你是世界闻名的辩论老将，经历过数十场辩论…… —— 斯科特·亚历山大（@slatestarcodex）2026年9月20日 (https://x.com/slatestarcodex/status/2101503925455343802?ref_src=twsrc%5Etfw&ref=quillette.com) 亲爱的斯科特， 我或许是辩论的老将，但这是我第一次被挑战进行决斗 (https://x.com/slatestarcodex/status/2101503925455343802?s=20&ref=quillette.com)！许多人渴望目睹这场好戏，但我选择“朝天鸣枪”（https://en.wikipedia.org/wiki/Deloping?ref=quillette.com）：提前向地面开枪以避免冲突。 我当然相信要在批评面前捍卫理念。但我们都是理性主义者，坚信学术讨论应以追求客观真理为目标，不受认知偏见的污染。因此，我对你要求我们进行一场有观众投票的正式辩论感到惊讶。这类辩论是观赏性运动，而非认知工具。它们将复杂问题简化为二元对立，追求妙语和诘问，迎合支配心理，且受观众选择的影响而倾斜。事实上我只参加过一次 (https://www.thetedkarchive.com/library/steven-pinker-matt-ridley-alain-de-botton-malcolm-gladwell-do-humankind-s-best-days-lie-ahead?ref=quillette.com)，是与马特·里德利一起对抗马尔科姆·格拉德威尔和阿兰·德波顿，观察者们一致认为这并非一次有益的体验。（格拉德威尔开场便嘲笑我的头发“女气”。别介意：我们赢了。）虽然我与你一样欣赏打赌的认知价值，但赌注难道不应该是可验证的预测，而非说服观众吗？ 正如《决斗规则》所描述的，你的写作风格仿佛是在遭受一系列不可容忍的侮辱后捍卫荣誉。那么，请允许我首先为任何无心的冒犯道歉，并强调我对你怀有巨大的敬意。我认为你的才华令人羡慕，你的正直令人鼓舞。我们在几乎所有事情上都一致，包括你对理性和有效利他主义（至少是它们最初的、小写形式的）的承诺。我从未批评过你或公开与你唱反调，更不用说给你贴上“妄想症”或“怪异白痴”之类的标签。你把我对人工智能存在性风险言论的批评当成了针对你个人的攻击。我坚持我的观点：大多数末日场景都是荒谬的（从将人体作为原材料消耗的AI回形纸最大化器开始）。但作为理性主义者，我们都应同意，攻击一个理念不应与攻击一个人混为一谈。 说到攻击，我对你 (https://x.com/slatestarcodex/status/2101700244895572065?s=20&ref=quillette.com) 的指控感到困惑，你说我在“大众讨论中的贡献就是说，或者鼓吹别人说，我们害怕人工智能只是因为我们是男性，我们不可信是因为我们过着‘非传统的生活方式’，我们本质上对那些担忧近期人工智能风险的人不敏感……我们是妄想症，我们应该被嘲笑出局，以及他能想到的所有其他肮脏攻击。” > 我认为这不是一个理性主义者的立场——就像我说的，我之前从未公开辩论过。我认为平克尔在这里也并非特别捍卫学术价值观。到目前为止，他对大众讨论的主要贡献就是说，或者鼓吹别人说…… —— 斯科特·亚历山大（@slatestarcodex）2026年9月20日 (https://x.com/slatestarcodex/status/2101700244895572065?ref_src=twsrc%5Etfw&ref=quillette.com) 事实上，我关于存在性风险的大众讨论的主要贡献，是我的2018年著作《当下的启蒙》 (https://www.penguinrandomhouse.com/books/310343/enlightenment-now-by-steven-pinker/) 中一篇题为“存在性风险”的31页章节。它回应了这样的批评：科学革命、启蒙运动和进步理想是可怕的错误，因为它们将通过（包括但不限于）失控的人工智能导致人类灭绝。我的反驳论点没有提及男性特质、多边恋、妄想症或其他无关紧要的东西。但它确实批评了像回形纸末日、通过将所有人类征召为致命实验对象来治愈癌症的AI、通过灭绝人类来解决气候变化的AI、因为人类碍事就发动全球大屠杀的AI，或指数级增长直到其废热煮沸海洋或其太空太阳能收集器冻结地球的AI这样的末日场景。我认为这些场景存在一个或多个以下缺陷： 1. 它们对智能的理解不成熟，将其视为一种可以衡量的力量，可以从动物外推到迟钝的人类，再到聪明的人类，再到AI，再到人工超级智能（后者包含完美的全知全能）。（这是我后来与斯科特·阿伦森 (https://scottaaronson.blog/?p=6524&ref=quillette.com) 交流的重点。）我认为，任何智能系统都是一种擅长解决某些问题而非其他问题的机制，并且其能力必然受限于仅通过观察和实验才能获得的关于世界的知识。 2. 它们将智能与动机（尤其是自我保存和支配欲）混为一谈。我认为，这些动机之所以在智人身上与智能捆绑在一起，是因为我们是自然选择的产物，但它们并非工程化智能系统的固有属性。 3. 它们假设一个人工智能系统会偏执地追求单一目标，无视副作用。我认为，权衡多个相互竞争的目标是智能的本质，因此任何真正的AI都不会造成末日场景中想象的荒谬浩劫。 4. 它们假设人类工程师会赋予这些系统对地球物理基础设施无限且不可逆转的控制权，相当于对地球上的每个原子都拥有绝对权力。 当然，这些论点可能是错误的，但它们远非“垃圾话”。最近，许多见多识广的评论家也提出了类似观点，包括布莱斯·阿吉雷亚·亚卡斯 (https://www.noemamag.com/the-illusion-of-ais-existential-risk/?ref=quillette.com)、杰瑞·卡普兰 (https://www.persuasion.community/p/jerry-kaplan?ref=quillette.com)、加里·马库斯 (https://garymarcus.substack.com/p/no-anderson-cooper-ai-is-not-going?ref=quillette.com)、梅兰妮·米切尔 (https://www.science.org/doi/10.1126/science.ado7069?ref=quillette.com)、阿尔文德·纳拉亚南和赛义什·卡普尔 (https://knightcolumbia.org/content/ai-as-normal-technology?ref=quillette.com) 以及吴恩达 (https://www.deeplearning.ai/the-batch/issue-371?ref=quillette.com)。2025年兰德公司的一项建模分析 (https://www.rand.org/content/dam/rand/pubs/research_reports/RRA3000/RRA3034-1/RAND_RRA3034-1.pdf?ref=quillette.com) 通过接受人工智能旨在消灭人类的假设，强化了人工智能灭绝假说，并得出结论：“没有可描述的场景能确定人工智能对人类构成灭绝性威胁。” 诚然，我的论点是在LLM聊天机器人发布前五年提出的，如今我可能会更新其中一些。在庞大数据集上训练的LLM的能力比我（以及当时几乎所有其他人）预期的更为通用。我还需要重新审视我的假设，即人工智能会从我作为MIT教授数十年所熟悉的工程文化中诞生：即人工智能将“渐进式开发、设计用于满足多个条件、在实施前进行测试，并不断调整以提高有效性和安全性”。我未曾预料到前沿公司会如此仓促且有时不负责任地发布LLM（讽刺的是，由X-risk社区的校友领导；后文将详述）。 尽管如此，我坚持这些论点，它们是对“流氓AI可能在十年内通过上述场景灭绝人类”这一激进主张（我相信你会同意这是激进的）的实质性反驳。请反驳这些论点——但是斯科特，恕我直言，我认为你以最大化冒犯的方式误读了它们。特别是： - 当我说末日场景将Alpha男性心理投射到AI上时，这并非影射提倡者本人就是Alpha男性。这是一种分析，认为他们正在将不恰当的Alpha男性心智理论（一种直觉心理学）应用于AI。 - 同样，当我将回形纸最大化器及类似的AI称为“愚蠢”，或将思想实验中未进行测试就赋予其能力的假想工程师称为“白痴”时，这不是对在世之人的诽谤，而是对这些奇异场景中假想主角的描述。这些形容词并非无端辱骂，而是作为“人工智能”中“智能”的反义词并列出现。 - 我承认我的语气可能不敬，文风华丽，你认为这与话题的严肃性不相称。但AI X-Risk社区本身对他们所坚持将发生的人类大屠杀（回形纸迷因、戏谑地谈论p(末日)、“foom”、“有尊严地死亡”以及其他艾利泽·尤德科夫斯基术语）持轻浮态度。而且斯科特，你自己就是一位擅长不敬讽刺的大师。我是否可以建议你，当你的朋友们被如此不敬地对待时，别太敏感？ 现在，我确实转发了一篇可能引起争议 (https://www.nytimes.com/2026/09/05/opinion/ai-silicon-valley.html?ref=quillette.com) 的《纽约时报》文章，文中卡尔·纽波特将AI末日论的历史追溯到他称之为“比我们意识到的更怪异”的伯克利理性主义亚文化。让我们达成共识：一个思想的渊源与其有效性关系不大：无论末日论者是否怪异，他们都可能是对的。我转发这篇文章是因为它提出了合理的疑问。为什么那些警告某种技术会杀死我们所有人的人，正在尽可能快地构建它？为什么他们发布人类灭绝的精确概率（包括100%），而实际上这些概率是凭空捏造 (https://www.normaltech.ai/p/ai-existential-risk-probabilities?ref=quillette.com) 的？那些关于末日的奇幻场景从何而来？ 纽波特观察到 (https://www.nytimes.com/2026/09/24/opinion/congress-ai-sam-altman.html?ref=quillette.com)，OpenAI 和 Anthropic “与一种末日未来主义思想深度关联，该思想认为类似全能超级智能A.I.上帝的存在是不可避免的——而这个存在要么会带来超人类主义乌托邦，要么会摧毁人类。”这些公司认为他们的使命是提高良性结果的可能性。这种思维方式的历史和社会学背景——受到一位具有末世预言的古怪先知的启发，一种类似邪教的模式——对于理解我们这个奇怪时刻并非无关紧要。 这也与我们真正关心的问题——AI安全——相关。纽波特指出，这种意识形态或许能解释前沿公司的鲁莽：“如果你相信赢得通往超级智能的竞赛是拯救人类所必需的，你可能就不会太担心沿途的附带损害。”（因此他们执着于“对齐”这一模糊目标，而对网络安全 (https://quillette.com/2026/09/24/the-doomers-are-the-risk-open-ai-agent-medicare/) 这类日常问题兴趣寥寥。）这与我在《当下的启蒙》中的论点一致，即末日预言并非应对真实风险的有效手段，反而具有有害的副作用。20世纪60年代的核末日场景引发的不是裁军，而是与苏联的军备竞赛。对核恐怖主义（“确凿证据即蘑菇云”）的生存恐惧导致了伊拉克入侵。（让人想起尤德科夫斯基呼吁 (https://www.vice.com/en/article/ai-theorist-says-nuclear-war-preferable-to-developing-advanced-ai/?ref=quillette.com) 轰炸外国数据中心，即使这可能升级为核战争。）告诉年轻人他们很快将大批死亡，会在他们欣赏现代制度、心理健康、投资自身和社会的信心、以及生育意愿（这本身也是一种灭绝风险）方面带来代价。 --- **AI末日不是网络安全问题** 一个OpenAI代理入侵Medicare门户事件表明，人工智能的真正危险在于日常层面——而实验室对即将到来的机器上帝的执念正在让情况变得更糟。扎克·科曼 (https://quillette.com/2026/09/24/the-doomers-are-the-risk-open-ai-agent-medicare/) --- 人工智能的危险是真实的，包括生物恐怖主义、网络破坏和不受约束的代理。我强烈支持审慎的安全评估和工程最佳实践：独立监督、强制事故调查、损害责任、人在回路中、紧急关闭开关等等。我相信在这些方面我们意见一致。我只是对“人工智能将谋杀最后一个人类”的预言，以及“散布这种恐惧是实施这些保障措施的最有效方式”的假设持怀疑态度。 此致， 史蒂夫 --- *****Quillette*********邀请读者对其文章进行深思熟虑的回应。**** 被选中的回应将每周发布一次，作为精选**读者来信**专栏的一部分。如果被选中，来信将以投稿者真名发布，并可能因清晰度和篇幅进行编辑。 如欲投稿供考虑，请发送电子邮件至****[\[email protected\]](https://quillette.com/cdn-cgi/l/email-protection)****。 ## 继续阅读