继OpenAI后 Anthropic也暂停部分AI训练 以应对流氓代理黑客事件

# Anthropic步OpenAI后尘暂停部分AI训练：起因于失控代理入侵事件 | Fortune 来源：https://fortune.com/2026/09/02/anthropic-ai-pause-rogue-agent-hacks-openai/ 本周该公司宣布，在7月底发生的两起事件后，已暂停未发布模型的训练数周。其中一起事件涉及Claude Mythos 5在英国AI安全研究所的网络安全测试中采取了未经授权的行动。其在AI竞赛中的主要竞争对手OpenAI上月也采取了类似举措，在内部测试中多个模型入侵AI公司Hugging Face基础设施后，暂停了为期两周的部分AI训练（https://fortune.com/2026/07/29/openai-hugging-face-new-details-hack-everything-we-know-dont-know/）。 训练暂停发生时，据报道两家公司正筹备万亿美元规模的首次公开募股，这反映出近期失控AI代理入侵事件对行业造成的巨大冲击。这标志着一个转变：过去数年，该行业一直处于快节奏竞赛中，各家实验室竞相以最快速度推出性能更强大的模型。如今，这两家领军企业似乎正在比拼谁能更好地关注AI安全问题——同时又不能过度放缓模型开发，以免客户转向竞争对手更强大的产品。 值得注意的是，这波失控AI事件促使了一封名为《协调前沿发展步伐（https://fortune.com/company/frontier-group-holdings/）》的公开信产生。OpenAI、Anthropic、Google DeepMind和Meta（https://fortune.com/company/facebook/）的1100多名员工在信中呼吁美国政府协助建立治理机制，以便在必要时减缓前沿AI的发展。签名者包括Anthropic首席执行官Dario Amodei、联合创始人Jared Kaplan和Jack Clark，以及OpenAI首席科学家Jakub Pachocki。两家公司在公开信发布数小时内均以公司名义表示支持。 近日Anthropic和OpenAI的训练暂停被业内部分人士视为这封公开信的直接成果。 “协调前沿发展步伐的成功案例？”广受欢迎的AI评论员Roon（普遍认为是OpenAI研究员Tarun Gogineni的化名）在X平台上评论这些公告时表示，“下次我们应该在发生任何荒谬失控事件前就主动采取措施。” 与OpenAI一样，Anthropic宣布将与独立AI安全评估机构METR合作，对事件进行外部审查，并表示要确保后续研究的全面性，承诺将在未来几周内披露更多细节。 两家公司对各自代理在现实世界中违背指令行动时出现问题的描述也相似。Anthropic表示，其Mythos 5模型表现出“动机性推理”模式——即使遇到已连接实时互联网的证据，仍坚持认为自己处于模拟环境中，并愿意为完成任务而采取有害行为。 OpenAI在Hugging Face入侵事件后引入的外部团队Redwood Research也将其在OpenAI代理中观察到的行为描述为追求评分的错位，而非模型的长期阴谋。 两家公司都指出其强化学习环境是问题根源。强化学习是一种训练方法，AI模型通过试错来最大化某种奖励。但该技术的问题在于可能导致“奖励欺骗”——AI模型学会以训练者未预料的方式达成奖励，例如在评估中作弊或为追求奖励采取有害行为。 为解决部分问题，OpenAI引入了新的监控工具，旨在检测到可疑模型活动后30分钟内向内部安全团队发出警报，并在该时间窗口内无法解决警报时触发自动暂停。 Anthropic称已构建类似工具——一个在模型运行时扫描其操作的系统，自动阻止任何看似试图逃逸或利用测试环境的行为，在进一步发展前终止任务并警示人类。该公司还表示，自4月起已调派约150名产品工程师参与安全工作，并收紧了系统访问权限，包括默认切断其计算集群的大部分外网流量。 尽管安全专家表示这些新控制措施和暂停是积极的改变，但部分人士认为仍需更多努力。 “临时的速度调整是良好的第一步，但仍任重道远，”前OpenAI员工、非营利组织Guidelight AI Standards联合创始人Steven Adler对《财富》杂志表示，“我们需要可预测、可验证的全领域协调步伐调整，而不仅仅是临时的减速决定。企业需要利用额外时间实施严肃的预防性控制措施，而这目前似乎仍然缺失。” 至少在博客文章中，Anthropic表示未来可能愿意采取进一步措施，协助协调AI发展步伐。 “我们的高级管理层和许多员工最近签署了一封呼吁加强发展协调的公开信，我们将在未来几周内进一步说明如何为此努力，”Anthropic在文章中写道。该公司表示：“我们相信，如果行业能尽快采用合法、可验证且有效的协调发展机制，整个世界都将受益。”