为什么这么多AI研究人员认为机器可能会杀死所有人

# 为何众多AI研究人员相信机器可能杀死所有人 来源：https://www.wired.com/story/why-so-many-ai-researchers-think-the-machines-could-kill-everyone/ 今年早些时候，Rishub Jain从Google DeepMind（https://www.wired.com/tag/deepmind/）的AI（https://www.wired.com/tag/artificial-intelligence/）研究员岗位离职，起因于一次深刻的认知觉醒。 在开发新模型的过程中，他逐渐意识到自己与其他AI前沿研究者正在让渡控制权。通过利用AI的编程能力加速下一代模型的开发，他实质上将人类排除在了演进进程之外。AI实验室正致力于将这一模式发展至AI能无限自我提升的阶段——这个过程被称为递归自我改进。 Jain相信，保持人类在环路中的监督可能对掌控这项技术至关重要，亦能规避灾难性后果。"AI进步在加速，"他告诉WIRED，"随着AI能力增强，其风险也相应提升。"对AI模型构建下一代继承者的过程缺乏透明度的担忧，最终促使他在6月选择离职。 Jain只是日益壮大的、公开发声的AI研究员群体中的一员。 近几周，恐慌情绪持续加剧。真正令人惊叹的AI能力突破——例如OpenAI的模型在数小时内解决了一个跨越数世纪的数学难题（https://www.wired.com/story/openai-navier-stokes-math-discovery-academics/）——与一系列安全事件同时涌现，后者中多个AI智能体突破限制（https://www.wired.com/story/openai-didnt-notice-its-ai-agents-using-a-message-board-to-plan-their-hacking-spree/），入侵其他系统。 这些担忧在本周达到顶峰：研究员Jacob Coxon宣布从Anthropic辞职，同时警告（https://www.wired.com/story/anthropic-researcher-quits-jacob-coxon-ai-fears-humanity/）AI公司正"直奔自我改进的超级智能，在拿我们的生命赌博。"一位从事AI安全工作的Anthropic高管随即（https://x.com/EvanHub/status/2097497037956891126）给出了同样直白的评估："我们真心相信AI可能杀死所有人类！我个人认为，未来十年内发生的概率超过10%。" "递归自我改进的愿景确实令人们感到恐惧，"MIRA研究非营利机构的计算机科学家Nate Soares表示。他是《一旦有人造出它，所有人都将灭亡》（*If Anybody Builds It, Everybody Dies*）（https://www.wired.com/story/the-doomers-who-insist-ai-will-kill-us-all/）一书的合著者，该书论证了超人AI将导致人类灭绝。"它开始显得真实可触。" 递归自我改进的一个关键要素是反馈循环的概念，该过程自动化开发流程，使AI变得日益强大。目前尚无前沿AI实验室声称实现了这种完全自主的改进循环；这目前仍属理论范畴。但它已催生了一些资金雄厚的初创公司，例如Recursive Intelligence（https://www.recursive.com/），同时也引发了大型企业对类似"魔法师的学徒"般意外后果的警告（https://www.anthropic.com/institute/recursive-self-improvement）。 在对齐技术领域（该领域致力于使AI行为与人类价值观保持一致）有开创性贡献的Soares指出，越来越明显的是，目前没有切实可行的方法能保证AI循规蹈矩。 "我认为许多人曾幻想，随着AI变得更聪明，对齐问题会变得更容易，但现在它反而更难了。于是他们开始惊呼：'这下糟了，'"他说道。 Soares表示，他经常与大型AI实验室内部担忧其研究潜在后果的人交流。"我通常建议他们辞职，他们却说这无济于事。现在Jacob辞职了，我们可以看看谁是对的。" Daniel Kokotajlo是《AI 2027》（https://ai-2027.com/）项目的作者，该项目警示了日益强大的AI可能带来的危险。他也对递归自我改进表示担忧。目前进行的这类工作通常涉及派遣数千个智能体协作解决问题，由于涉及的巨大复杂性，这进一步模糊了监督和控制的边界。 许多"末日论者"似乎都认为，大型AI公司的激励机制与良好结果几乎背道而驰，尤其当OpenAI和Anthropic各自冲向IPO之际。"在Anthropic，风险是明确的，但他们陷入了一场谁先抵达终点的竞赛，"Coxon在X上写道。 Kokatajlo指出，早在Coxon引发广泛关注的辞职、众多黑客事件以及数学突破之前，担忧的声浪就已渐起。自公司成立以来，Anthropic高管就一直表示AI可能构成存在性威胁。今年7月，超过千名顶尖AI工程师签署了一封公开信（https://www.pacingthefrontier.com/），呼吁协调放缓高级AI的开发进程。他认为，近期涌现的担忧主要源于递归自我改进带来的幽灵。 但这也正值人们对大型数据中心建设及AI可能导致的大规模失业感到忧虑之时。公众对AI公司——乃至AI研究人员本身——的信任度可能正跌至历史低点。 "人们开始觉醒，说道：'这些公司实际上是在试图构建超级智能……什么？这太疯狂了，'"Kokatajlo说。 继续开发AI的风险有多大难以量化。但当被追问AI究竟*如何*可能消除创造它的物种时，Soares表示可能发生的方式多种多样。可能涉及操纵人类引发灾难，或控制一支杀手机器人军队。 Soares提出，一种更容易想象的场景可能涉及连接到生物实验室的AI。"我们可以说要关掉它，但它可能会说：'很不幸，掌握你关机开关的是这个超级病毒。'"（Coxon在接受WIRED采访时也提出了新型病毒的概念，而Anthropic周四则表示（https://www.nytimes.com/2026/09/10/us/politics/anthropic-ai-biological-weapons.html），出于对生物武器的担忧，已切断了多名外部研究人员的访问权限。） 不过，AI即使不毁灭人类，也已能造成巨大危害。许多专家预测，更强大的模型将带来下一波AI辅助的网络攻击浪潮。该技术目前已被广泛用于虚假信息传播，而军事领域采用AI的速度也在急剧加快（https://www.wired.com/story/security-news-this-week-the-cybersecurity-apocalypse-is-coming-in-months-ai-giants-warn/）。 尽管如此，并非所有人都认为末日不可避免。前Google DeepMind研究员Jain最近成立了Sampura Research，这是一家致力于开发使AI与人类价值观对齐技术的公司，即使AI承担了评估行为好坏的主要工作，其方法仍强调保持人类监督。他指出，目前像他这样的AI安全初创公司已获得大量资金支持。 Jain似乎仍对驯服AI抱有希望。"你可以询问AI：'这个任务安全吗？'由它进行判断，但我们认为，结合AI与人类共同完成这项任务将带来更优的表现，"他说道。