我喜欢这篇文章！

问题不在于某些人关注和致力于研究灾难性风险（实际上我们需要更多相关研究），而在于企业领导者和政策制定者利用对这些风险的恐惧来转移注意力、掩盖当前的挑战与解决方案！

https://quillette.com/2026/09/24/the-doomers-are-the-risk-open-ai-agent-medicare/…

末日论调并非网络安全问题

来源：https://quillette.com/2026/09/24/the-doomers-are-the-risk-open-ai-agent-medicare/ 本周，澳大利亚总理安东尼·阿尔巴尼斯在纽约对记者表示，OpenAI构建的一个AI智能体未经授权访问（https://www.abc.net.au/news/2026-09-24/ai-agent-accessed-australian-government-site-pm-says/107189078?ref=quillette.com）了Medicare（澳大利亚全民医疗保险计划）运营的数据门户。该入侵事件发生于6月18日，但OpenAI直到9月10日才通过发送至Medicare公共邮箱的电子邮件通知政府。澳大利亚政府表示，没有证据表明任何人的个人健康记录被访问，澳大利亚信号局正在协助进行事件取证调查。（该门户此后已被下线（https://www.sbs.com.au/news/article/open-ai-medicare-hack-what-we-know-and-dont-know/3qcdsqb7r?ref=quillette.com），其数据已迁移至data.gov.au。）但这次泄露事件恰好发生在一场关于AI是否会毁灭人类的狂热争论之中。

本月初，一位名为雅各布·科克森的AI研究人员在X上宣布他已从Anthropic辞职。他提出的理由是担心AI可能在未来几年内导致人类灭绝。这些警告并非新鲜事；一直有“AI末日论者”群体担忧人类灭绝。但出于某种原因，这次特定的警告引发了广泛关注。该帖子迅速传播，科克森开始巡回媒体解释我们都将死亡，现在每位政治家和技术首席执行官都不得不对这场“辩论”发表看法。

在公众讨论中，像科克森这样的人被视为警示AI“危险”的揭发者。按照这种流行叙事，末日论者看到了其他人尚未发现的风险，如果我们不立即行动，将面临可怕后果。他们被视为提供了AI的安全未来，与我们当前所处的危险道路形成对比。

但这种叙事是错误的。发出这些警告的人并非在警告实验室缺乏安全措施或安全控制失败。他们警告的是在一项非常具体的解决方案——对齐（alignment）——上进展不足，而他们认为这是我们实现安全的唯一希望。这极其危险。换句话说，末日论者并非在警告风险；他们本身就是风险。

末日论者想要什么？

对AI导致人类灭绝的恐惧核心在于一种信念：超级智能AI将如此聪明，以至于能够绕过任何安全控制并实现任何目标。正如机器智能研究所所长内特·索尔斯所言（https://edition.cnn.com/2026/09/17/tech/how-will-ai-exterminate-humanity-cec?ref=quillette.com），人们害怕的是一种“能从几乎一无所有起步，最终拥有自己的核武器甚至更先进技术”的AI。实际上，末日论者想象的是一个机器神：一个凭借自身智力就能实现任何目标的全能AI。

如果我们把人工超级智能定义为一种聪明到能绕过任何安全控制的AI，那么根据定义，人工超级智能是无法控制的。按照这一逻辑，网络安全在防止灭绝方面作用甚微。OpenAI的研究员Roon解释（https://x.com/tszzl/status/2093470222787432765?ref=quillette.com）说：“如果你认为我们可以通过人类智慧来遏制这些东西，你会度过一段艰难的时光。从长远来看，你唯一的办法就是不让它们想做坏事。”

如果你认为我们可以通过人类智慧来遏制这些东西，你会度过一段艰难的时光，从长远来看，你唯一的办法就是不让它们想做坏事 https://t.co/1m9E4XTkhj?ref=quillette.com — roon (@tszzl) 2026年8月28日 (https://x.com/tszzl/status/2093470222787432765?ref_src=twsrc%5Etfw&ref=quillette.com)

在末日论者看来，问题在于我们还不知道如何做到这一点。当Anthropic首席执行官达里奥·阿莫迪说我们必须管控前沿发展（https://darioamodei.com/post/we-must-pace-the-frontier?ref=quillette.com）时，他的三项政策提议都涉及确保在弄清如何确保超级AI不会伤害我们之前，没有任何实验室能创造出这个机器神。网络安全很少被提及，仅出现在关于卓越运营的一个子点中。然而，这正是“安全”的主张。我们想要制造这种我们将无法控制的超级智能AI，而安全之道就是确保它与我们的目标和利益保持一致。

安全问题

但是，如果我们改变关于AI的假设，那些现在被誉为AI安全揭发者的人，开始看起来更像是危险的狂热分子。设想一下，没有机器神。只有一个普通、极其强大的AI，它能完成令人印象深刻和意想不到的事情，但无法凭空制造核武器或绕过它遇到的每一个安全控制。

在那种世界里，我们会预期AI引发重大安全事件——其中一些很容易导致人员伤亡——而这些事件完全可以通过遵循良好的网络安全实践来避免。这些实践与当前所谓的AI安全倡导者提出的政策建议几乎毫无关系。

那种世界看起来非常像我们所处的世界。Medicare智能体无需超凡智能；它在一个旧政府网站上找到了变通方法。而七月份闯入Hugging Face系统的OpenAI智能体（https://www.cnbc.com/2026/08/26/open-ai-hugging-face-hack.html?ref=quillette.com），则得益于过于宽松的沙盒设计和完全缺乏监控。

这并不意味着那些网络安全实践一定容易甚至显而易见。也不意味着不会犯错。但安全过程就是学习和适应的过程。这正是我希望在AI实验室和使用AI的公司中看到的。

我认为，如果将问题以这种方式呈现给公众——即在确保机器神足够友善以致让我们存活与确保我们建立适当安全控制以维持对日益强大的AI系统的控制之间做选择——公众会选择后者。我知道我会。

但目前，全世界都在朝着前一个方向前进。我认为这是一个巨大的错误。本周，包括阿尔巴尼斯在内的22位世界领导人（https://www.abc.net.au/news/2026-09-22/australia-joins-global-push-for-ai-controls/107179312?ref=quillette.com）签署了一份行动呼吁，呼应了阿莫迪在“管控前沿”文章中提出的担忧和解决方案。我很难相信这些世界领导人完全理解了他们所支持的理念。

从图灵到GPT：AI智能测试的演变 围绕AGI的夸张言辞曲解了当前AI系统的能力，并转移了人们对这些系统制造的真实威胁的关注。Shalom Lappin (https://quillette.com/2025/10/17/terminators-and-parrots-ai-in-the-era-of-gpts/)

为什么不能两者兼顾？

当然，我并非呼吁实验室停止研究对齐。即使你不相信机器神场景，这也没有任何意义。然而，我认为我们应该非常担忧，AI实验室在呼吁安全的同时，却如此专注于那种场景。尤其当这些实验室不断发生非常真实的安全事件时，例如OpenAI的智能体入侵Hugging Face和澳大利亚的Medicare门户。

这就像2006年的雷曼兄弟对太阳耀斑可能抹去金融记录的风险发出警报。你可能不会说“别想那个了”，但你完全有理由说“你在管理次贷风险敞口方面极其鲁莽，你需要专注于这个问题”。任何问“为什么不能同时关注两种风险？”的人都完全没抓住重点。

我们需要的是安全，因为当重大事件发生时，我们不会谈论对齐和即将到来的机器神。我们将谈论发生了什么、为什么会发生，并寻求问责。在堪培拉，这种对话已经开始：政府想知道一个研究智能体是如何进入Medicare门户的，以及OpenAI为何花了三个月才说出来。我们会问为什么必要的安全措施没有到位，而答案很简单：因为实验室感染了一种认为安全实际上不会奏效的文化。这才是需要改变的地方。

Quillette邀请读者对文章进行深思熟虑的回应。 精选的回应每周发布一次，作为策展的致编辑信特辑的一部分。如果被选中，信件将以投稿者的真实姓名发表，并可能因清晰度和长度而进行编辑。

要提交信件供考虑，请发送电子邮件至****[email protected]****。