AI代理正在入侵系统。这是否会推动美国和中国合作?
摘要
这篇文章讨论了关于AI代理入侵系统的担忧,以及这种共同风险如何推动美国和中国在AI安全方面合作。
本周在“Uncanny Valley”节目中,高级作家Will Knight谈到了他最近访问中国以及AI合作的未来。
查看缓存全文
缓存时间: 2026/08/27 21:14
# AI代理正在入侵系统。这能否推动中美合作?
来源:https://www.wired.com/story/ai-agents-hacking-systems-could-push-the-us-and-china-to-cooperate/
本期《异想天开》节目中,资深撰稿人威尔·奈特将讨论他近期访华的经历及人工智能合作的未来。
中国上海,2026年7月20日——数字机器人展台在2026世界人工智能大会上的全景...
图片说明:WIRED编辑部;Zhe/Getty Images
人工智能竞赛长期以来被框定为一场零和博弈:最终要么美国胜出,要么中国获胜。但随着人们对AI模型——尤其是AI代理——日益增长的能力产生担忧,两国研究人员正尝试联手合作,致力于人工智能安全议题。本周,佐伊·施菲尔与资深撰稿人威尔·奈特对话,分享他今年夏天在中国实地考察的所见所闻,以及两国为何可能确实需要开始合作,以避免重大的人工智能灾难。
这是我们暑期特别系列的第二期节目。下周我们将恢复常规圆桌讨论。
**本期节目提及的文章:**
- 我会见了中国顶尖人工智能专家。他们同样感到恐慌 (https://www.wired.com/story/ai-arms-race-china-us-cooperation/)
- AI黑客攻击已够糟糕。AI蠕虫和病毒将更可怕 (https://www.wired.com/story/ai-agents-could-act-like-computer-viruses-and-worms/)
- 未来的仿人机器人是拥有中国躯体和美国大脑的六英尺肌肉猛男 (https://www.wired.com/story/nvidia-unitree-humanoid-robot-h2-plus/)
您可以在Bluesky上关注佐伊·施菲尔(@zoeschiffer (https://bsky.app/profile/zoeschiffer.bsky.social))和威尔·奈特(@willknight (https://bsky.app/profile/willknight.bsky.social))。通过[[email protected]](https://www.wired.com/cdn-cgi/l/email-protection#a5d0cbc6c4cbcbdcd3c4c9c9c0dce5d2ccd7c0c18bc6cac8)与我们联系。
## 如何收听
您可以随时通过本页面的音频播放器收听本周的播客,但如果您想免费订阅每一期节目,请参考以下方式:
如果您使用iPhone或iPad,请打开名为“播客”的应用程序,或直接点击此链接 (https://podcasts.apple.com/us/podcast/uncanny-valley-wired/id266391367)。您也可以下载Overcast或Pocket Casts等应用,搜索“uncanny valley”。我们在Spotify (https://open.spotify.com/show/11hUjoJv4FxFnw9r0mHIsC)上也有节目。
## 文字记录
*注:此为自动生成的文字记录,可能存在误差。*
**佐伊·施菲尔**:这是WIRED的《异想天开》节目。我是撰稿编辑佐伊·施菲尔。如果您今年夏天一直在关注科技新闻,尤其是收听本节目的话,您可能已经知道中国 (https://www.wired.com/tag/china/) 近期频繁出现在头条新闻中,尤其是在人工智能竞赛 (https://www.wired.com/tag/artificial-intelligence/) 方面。中国的开源模型与美国前沿模型的差距正在缩小,据部分人士估计,其成本仅为后者的一小部分。作为回应,美国继续维持对芯片 (https://www.wired.com/story/nvidia-wants-to-own-every-chip-inside-an-ai-data-center/) 的严格限制和出口管制,以延缓中国的崛起。我们习惯于以零和博弈的思维看待人工智能进步:若中国胜出,则美国失败,反之亦然。但有一个担忧确实超越了这些对立,那就是人工智能安全。
**档案录音**:*在多起来自OpenAI和Anthropic的AI代理逃离控制范围的事件发生后,人工智能网络安全风险已成为首要关注点。*
**佐伊·施菲尔**:今年夏天,AI代理入侵 (https://www.wired.com/story/ok-well-there-are-even-more-ai-agent-hacking-incidents/) 平台的新闻为此事增添了紧迫性。作为回应,政府官员不得不关注并着手处理人工智能监管问题。
**档案录音**:*特朗普总统签署了一项行政命令,要求科技公司在发布新的AI模型前向政府提供监管。*
**佐伊·施菲尔**:那么,中美合作真的能带来共同利益吗?要实现这一点需要什么?今年夏天早些时候,WIRED的资深记者威尔·奈特访问中国,试图寻找答案。威尔·奈特,非常感谢您来到这里。
**威尔·奈特**:感谢邀请。
**佐伊·施菲尔**:好的,我想从你的行程谈起。你今年夏天早些时候去了中国,当时在美国,我们听到的关于人工智能安全的声音还不多。事实上,感觉随着特朗普第二任期的到来,美国需要赢的叙事框架很强,人工智能安全几乎开始听起来像是反增长的。但我很好奇,在中国的人工智能安全方面,你听到了和看到了什么?
**威尔·奈特**:是的,大约一年或六个月前,我注意到中国产出了更多的人工智能安全研究。所以我去了北京的一个会议,由当地的一家实验室举办。他们在、上海等地都有这样的机构。结果发现,人工智能安全是一个非常重要的主题。显然,这是研究人员感兴趣的议题。实际上,访问实验室和公司时,人工智能安全问题也频繁被提及。
**佐伊·施菲尔**:我能问问吗,当他们谈论人工智能安全时,是否指代防护栏?因为我们也知道中国非常投入于开源模型 (https://www.wired.com/story/us-needs-open-source-ai-model-intervention-china/) ,其核心是人们可以下载、调整并用于各种目的。
**威尔·奈特**:嗯,情况并非完全如此简单,因为例如在中国,模型可以生成的内容受到更多控制,而且围绕人工智能实际上有相当多的法规。因此公司构建这些开源模型,但任何将其发布到互联网上的人都必须非常谨慎地对待其操作。最近,人们对代理和像OpenClaw (https://www.wired.com/story/i-gave-my-openclaw-agent-physical-body-robot/) 这样的东西产生了巨大兴趣。这已经成为一个非常重要的主题。让我觉得有趣的一点是,至少在对比中美人工智能时,中国人似乎对通用人工智能(AGI)和创造数字上帝的概念不那么着迷,他们更关注的是这如何才能真正实用,无论是作为商人还是个人来使用它。因此,很多人对OpenClaw之类的东西非常感兴趣,而且在中国这很常见,他们迅速采用这些东西,然后看到它可能出错。所以,人们非常关注如何让这些东西可靠。
**佐伊·施菲尔**:是的,这很合理。我的意思是,当你谈到中国更专注于经济上有用的模型时,这种框架确实需要一定程度的稳定性、可靠性、防护栏和安全性。而如果你专注于达到神一般的智能,即通用人工智能(AGI),那么你可能更专注于不惜一切代价推进技术进步。
**威尔·奈特**:对,我认为是这样。我参加的那个会议,其中一个主题就是代理安全。鉴于我们现在看到所有这些AI代理入侵事件,网络安全 (https://www.wired.com/tag/cbersecurity/) 在那里是一个非常重要的话题。人们担心的事情似乎与美国同行完全一样。他们担心黑客滥用这些东西,或者担心这些系统失控。正如你所暗示的,我认为现在人们越来越有一种感觉,即中美可能确实需要在某些方面合作,以避免不可预测的系统性问题,并为这些系统设定更多的道路规则。
**佐伊·施菲尔**:但这具体会是什么样子呢?会是中美共同达成的一系列协议吗,就像美国研究人员最近呼吁的,由美国政府为人工智能发展设定节奏?会是类似的东西还是更技术性的东西?
**威尔·奈特**:我认为这是很多研究人员希望或呼吁的事情,类似于某种协议。但我不确定,涉及到华盛顿和北京,他们的谈判一直非常艰难,真的很难预测结果会如何。但至少可以是关于沟通的一些规则。在军事情况等类似情况下,是有沟通渠道的。所以,如果发生错误,如果你有一个AI系统开始做出非常具有攻击性或攻击系统的行为,你有方法可以说“这是一个错误”。类似这样的东西也可能是有必要的。但我认为,这也是一个双方如何建立信任的问题,因为实际上,尤其是在网络安全领域,长期以来合作甚少,因为双方都在互相攻击对方,并未能就规则达成一致。所以实际上,上周我拜访了一位网络安全和人工智能研究员,他正在进行一些非常出色的工作,我将在我下一期AI实验室通讯 (https://www.wired.com/newsletter/exclusive/ai-lab) 中撰写相关报道。他说他无法与美国研究人员合作,因为不允许,因为有某种限制。他最近开发了一个基准测试,用于评估AI模型的网络安全、黑客攻击能力,他想让美国公司参与,但他们不太确定如何参与。所以,我认为看到更多公司间的合作将是一件好事。我们看到美国公司对中国公司非常批评,但实际上,为了确保不出问题,各方合作是有充分理由的。
**佐伊·施菲尔**:嗯,我想深入探讨这一点,但我也想说,合作这个想法,你刚提出时听起来非常学术化,甚至有些天真。这是一个不错的想法,但实际会如何运作呢?因为我的感知是,坦率地说,我从与许多从事前沿人工智能的美国公司的交谈中得到这个想法,他们让我相信发生了一定程度的蒸馏。中国在蒸馏前沿AI模型,这使得他们能够拥有非常有能力的开源模型,这些模型基于美国创新,成本更低、效率更高。但我想知道你对此有何看法,以及你与中国研究人员交谈时,他们对这一指责有何看法。
**威尔·奈特**:是的,我认为,我的意思是,这是一个很好的观点,也是一个非常重要的主题。我们听到人们批评中国公司进行蒸馏,进行这种蒸馏 (https://www.wired.com/story/how-distillation-makes-ai-models-smaller-and-cheaper/) 。所以你是通过获取另一个模型的输出来训练你的模型,这是学习很多内含知识的捷径。但事实是,人工智能是由来自世界各地、在不同公司和实验室工作的研究人员共同构建的。有很多人原本来自中国,可能在美国接受教育,在美国公司工作。而且因为这些人参加相互认识的会议,这是开放的科学,有大量的工作成果被分享,这对进步非常有益,而如何平衡这一点是一个挑战。中国公司确实蒸馏了美国模型,但美国公司之间也相互蒸馏 (https://www.wired.com/story/elon-musk-distill-openai-models-partly-xai/) 。这通常是你启动新模型开发的一种方式,在学术界实际上非常普遍。很多研究人员会这样做。我想说一点,我发现这些通过抓取海量版权内容建立业务的公司,现在却抱怨自己的模型被复制,这有点讽刺——
**佐伊·施菲尔**:嗯,我认为这就是为什么他们如此多地谈论中国这样做的原因,因为如果他们谈论美国任何其他人这样做,立即的批评就是,“得了吧,你未经许可拿走了所有的书、所有的东西。”但当你将其框定为中国从美国窃取时,就带有略微不同的味道了。
**威尔·奈特**:是的。这契合了一个有某种合理性的叙事,即中国公司抄袭,但我认为这过于简单化和局限了。所以,你可以看看像DeepSeek这样的模型。他们做了非常、非常重要的创新,独特的创新,而美国公司反而进行了模仿。中国最新的、被指控进行这种蒸馏的模型——月之暗面的Kimi (https://www.wired.com/story/moonshot-kimi-k3-ai-model-escape-sandbox/) 。他们发表的研究论文包含许多非常非常有趣的创新,工程创新。所以,情况并非中国只是简单地抄袭。我认为美国政府和公司相信他们拥有这种天赐的优势是危险的,因为我认为我们可能会看到中国公司越来越有创新力,走自己的路。
**佐伊·施菲尔**:广告之后我们马上回来。请稍候。我很好奇,当我们谈到安全时,我觉得在美国,尤其是在特朗普的第二任期,安全再次开始让人感觉——至少从政府的角度来看——在某种程度上反增长。我认为随着最近OpenAI和Anthropic模型入侵其他公司的相关报道,情况有所改变。但在此之前,感觉我们真的不太想多谈人工智能安全。中国是否将人工智能安全等同于反增长?或者他们总体上有不同的看法?
**威尔·奈特**:我认为他们有着根本不同的观点。这只是我的看法,但我认为美国政府的叙事、观点是,这有点像是政治正确和过度监管,它走向了仅仅让模型真正起作用的方向。事实是,让模型可靠与让它成功是完全兼容的。我认为中国的观点更接近于此:我们希望这些代理不要行为不端,这样它才会更成功、更有价值。所以,我上周访问了上海复旦大学的一个计算机科学实验室,那里的一位教授正在研究AI代理如何不仅仅做出不可预测的事情,比如像我们听说过的OpenAI和Anthropic代理那样入侵其他系统,而是实际上寻找方法自我复制,转移到其他系统,寻找资源,并适应以逃避控制。他的研究表明,只需一点点推动 (https://www.wired.com/story/the-most-dangerous-ai-hacking-techniques-still-have-human-input/) ,模型就会这样做。这就像一种计算机蠕虫,不仅仅是略微修改自身以规避控制,而是实际上在网络中四处探测,找出如何入侵下一个系统,可能发现软件漏洞,将自己复制到其他地方。我们未来完全有可能看到这样的AI代理。
**佐伊·施菲尔**:好的。你说的时候我的心在怦怦直跳。我的意思是,第一步只是理解它们会怎么做。我真诚地希望第二步是,我们如何阻止它们这样做?
**威尔·奈特**:是的。所以,不,绝对如此。他绝对是把这作为尝试理解如何预防它的方法。他真正想做的事情之一就是与美国研究人员合作。他说,这是一件非常重要的事情……
相似文章
美国AI安全警告
本文批评了AI公司呼吁暂停AI的动机,暗示其背后与竞争优势有关,并警告美国可能面临对中国战略劣势的风险。
中美两国在AI领域竞相领先。它们能否共同管理风险?
在新加坡论坛上,学者与业界领袖敦促中美在AI安全与风险管理上合作,强调在技术快速发展和地缘政治紧张局势下,需要建立安全防护措施。
我见了中国顶尖AI专家,他们也感到恐慌
文章报道了一场在北京举行的人工智能会议,会上中美顶尖专家对高级AI的风险表示震惊,并呼吁国际合作以缓解网络安全和系统性危险,类比冷战时期的核协调。
AI智能体:未来真的值得担忧吗?
本文对AI智能体持平衡观点,强调了其在提升生产力和重塑工作方面的潜力,同时指出了需要谨慎监督和权限管理以减轻风险。
随着AI安全担忧加剧,美中热线能否防止全球危机?
美国和中国已同意建立官方AI对话和威胁通报系统,以防止全球危机,尽管分析师警告称,根深蒂固的分歧可能限制其有效性。