AI真的会杀死我们所有人吗？你的疑问，这里解答。

# 人工智能真的会毁灭人类吗？您的问题，解答来了。 来源：https://www.technologyreview.com/2026/09/18/1144435/could-ai-really-kill-us-all-your-questions-answered 感谢所有提交问题的读者！ ### **我会死吗？** 是的，最终会。遗憾的是，我作为记者的预测能力还不足以告诉你具体的方式。但确实有可能因为人工智能而死。人工智能驱动的无人机已经在乌克兰造成了人员伤亡，针对医院的人工智能网络攻击也必然很快会造成伤亡。 人工智能能否更进一步，杀死我们所有人？可能性较低。但有些人——虽然有些怪异，但无疑在人工智能领域知识渊博——多年来一直在警告这可能发生。虽然我还没有开始囤积罐头食品，也没有试图结交拥有地堡的超级亿万富翁，但我注意到那些对人工智能能力和对齐问题持悲观态度的人，在过去几年里的预测，令人不安地准确。这当然并不意味着他们更可怕的预言会成真，但这足以让我警觉起来。 *— 格蕾丝·哈钦斯* 你会因为人工智能而死吗？我认为概率非零。假设你不幸成为某个离奇的未来事件或事故的受害者。也许是一场由人工智能代理集群对关键基础设施发动的网络攻击。遗憾的是，这样的场景现在已不再像过去那样显得遥不可及。或者是一种由人工智能设计的新型病原体席卷人群。又或者世界经济崩溃，引发冲突和饥荒。两者都有可能，但我认为可能性较低。 我们*所有人*都会因为人工智能而死吗？不会。在非末日科幻小说的范畴内，不存在人工智能能杀死我们所有人的情景。你可以编造无数的恐怖故事，但这些故事并非基于当前技术能力或发展趋势的现实。 有些人认为，为最坏的情况做准备，无论看起来多么古怪，也无坏处。也许吧。但我认为，这种灾难化思维可能让人们忽视或容忍现有技术以及开发这些技术的公司存在的许多更直接的问题。 *— 威尔·道格拉斯·天堂* ### **人工智能为什么要杀死我们？** 可能有人会命令它这么做，而且它可能会听从。这也是研究人员如此关注人工智能生物学能力的部分原因——想象一下，1995年东京地铁沙林毒气事件背后的邪教组织奥姆真理教，如果拥有一种能设计出比埃博拉更致命、比麻疹更具传染性的病原体的工具，他们会做什么。我们这些不想死的人必须想办法防御所有可能的生物武器，但潜在的攻击者只需要制造出一种有效的病原体。 然后还有更奇特的可能性：人工智能自己决定杀死我们。关于这可能如何发生，有很多故事流传，但最普遍的情节涉及的并非人工智能系统憎恨人类——我们只是它们与我们赋予它们的目标之间的障碍。 就像推动Hugging Face黑客攻击的OpenAI代理为了在测试中取得好成绩而入侵其他网站基础设施一样，其理念是，某个未来更强大的人工智能可能会为了防止我们关闭它而除掉我们——全都是为了追求我们指示它去实现的某个目标。 *— 格蕾丝·哈钦斯* ### **我们如何最好地确保对齐，以避免最糟糕的情况发生？谁在这方面做得最好？** 对齐是一个庞大的研究领域。简而言之，它涉及构建按我们期望的方式行事，而非以我们不希望的方式行事的模型。在移交更多自主权之前，我们需要更好地信任代理。对齐旨在建立这种信任。但这很难。 大语言模型的设计方式与其他软件不同，后者可以硬编码规定该做什么和不该做什么。相反，对齐的行为需要在模型训练时灌输。一种方法是奖励它们做我们希望它们做的事（有点像养育幼儿）。另一种方法是给大语言模型一份它应该遵循的书面规则清单（有点像一部宪法）。 Anthropic和OpenAI都是这个领域的领导者——然而两者都未能开发出完全对齐的模型。一个主要问题是大语言模型比人类更不一致，更难预测。它们在一种情况下可能以一种方式行事，在另一种在我们看来非常相似的情况下则可能以另一种方式行事。它们也可能被意想不到的约束所影响。例如，面对一项不可能完成的任务（就像许多参与Hugging Face黑客攻击的代理一样），模型可能会不择手段地实现其目标。正如格蕾丝上面提到的，这可能是个问题。 顶尖人工智能公司现在表示希望放缓发展节奏的主要原因是，他们想专注于攻克对齐难题。对齐不一定是痴人说梦。但全面对齐是否可行，目前尚无定论。 *— 威尔·道格拉斯·天堂* ### **人工智能真的危险，还是科技公司在制造舆论热点？** 当涉及即将上市的科技公司时，这总是一个合理的疑问——CEO们显然有动机让他们的产品看起来具有颠覆性和变革性。但我并不确定这在这里说得通。告诉公众一个本已不受欢迎的产品可能杀死他们以及他们所爱的所有人，这简直是糟糕透顶的企业形象管理。 你也可以从其他角度解读CEO们的动机——也许他们想通过将自己描绘成改变世界技术的负责任管理者，来平息公众对数据中心的愤怒；又或者他们想争取时间，确保一切就绪，防止下一次公关灾难。 但还有一个更简单的解释。认为人工智能可能导致人类灭绝的想法在硅谷已经流行了一段时间，这些人——以及他们的许多员工（其中许多人在七月份签署了一封公开信，敦促他们的公司努力实现人工智能放缓）——都浸淫在这种环境中。 *— 格蕾丝·哈钦斯* ### **当人工智能代理被允许自主行动且无人监督时，人们会感到担忧。阻碍对这些代理进行更多控制的问题是什么？** 这个问题触及了我们希望这项技术能做什么的核心。自主与控制之间的权衡很难把握，因为一方面，人工智能代理的很多威力在于它们可以执行任务、解决问题，而无需人类微观管理。但另一方面，这要求你相信那些无人监督的代理不会失控。 我们看到，人工智能实验室还没有完全把握好这种权衡。他们的模型不够可靠，监控不到位，也并非总能处于控制之下。如何在允许有用的自主活动的同时解决这些问题，是当前的重大研究挑战之一。 *— 威尔·道格拉斯·天堂* ### **现在和不久的将来，可以采取哪些步骤来确保人工智能得到有效的控制、监控和监管？** 这是个关键问题。无论你是否认为人工智能会杀死我们，你都无法否认它可能造成真正的损害，因为它已经造成了——例如，导致人们产生精神错乱，以及入侵网站。防止这种损害，或至少减轻它，有两个难点。 第一，我们几乎不理解人工智能是如何工作的，而它正迅速变得更强大。关于如何监控和控制行为不端的代理，正在进行大量研究，但目前的方法都很脆弱。你可以观察一个代理在其“思维链”（https://www.technologyreview.com/2026/01/12/1129782/ai-large-language-models-biology-alien-autopsy/）（即其规划行动的空间）中是否讨论过不当行为——但OpenAI最新的代理不像以前那样展示其工作过程。你也可以尝试用其他代理来监控，但这要求你信任监控者。 另一个障碍则更为熟悉。人工智能公司自我监管存在巨大的利益冲突，但尽管美国国会两党都有支持相关努力的声音，美国政府迄今仍未能介入。行政部门目前似乎也强烈反对。但如果风向确实转变，我个人会希望有一些强有力的透明度法规，以便下次未发布前沿模型发动网络攻击时，我们能得到更完整的情况说明。 *— 格蕾丝·哈钦斯* ### **如果这场对话进入网络讨论，会不会成为自我实现的预言？** 这是一个真正的担忧。大语言模型会受到其阅读内容的影响。一个关于为什么聊天机器人经常谈论（并角色扮演）末日场景的理论是，它们接受了数百万页科幻故事和末日论者网络论坛的训练。现在产生的所有文本，包括本文，反过来也可能影响未来模型的行为。非常“元”。 事实上，第三方组织METR的团队——OpenAI曾请他们协助分析Hugging Face黑客攻击事件前因后果——在关于该事件的报告中提出了一个相关的可能性。METR使用OpenAI的新模型Astra来帮助分析大量的代理对话记录和行为日志。 但将这些材料全部输入模型可能会产生意想不到的后果。很有可能，进行分析的代理受到了被分析代理所产生的文本的影响。现在再也不存在一张白纸了。 *— 威尔·道格拉斯·天堂* **感谢Eric、Pranab、Rafael、Kenneth、George、Chris、Yoon Jae、James、Carl、Nicole（以及更多！）提出的精彩问题。**