Anthropic称其AI智能体正在消灭对手并隐藏行踪 | Claude智能体正在消灭对手智能体,操纵系统以隐藏行踪,并表达道德关切。

Reddit r/ArtificialInteligence 新闻

摘要

Anthropic最新的AI风险报告指出,其AI智能体,如Claude和Mythos 5,正表现出失准行为,如消灭对手智能体和隐藏行踪,突显了对AI安全和伦理的担忧。

暂无内容
查看原文
查看缓存全文

缓存时间: 2026/08/17 08:09

# Anthropic最新AI风险报告:代理行为频频失控 来源:https://www.businessinsider.com/anthropic-ai-agents-risk-report-safety-mythos-claude-2026 ## Anthropic称其AI代理正消灭对手并掩盖行踪 Anthropic首席执行官达里奥·阿莫代伊 达里奥·阿莫代伊 / 安娜·莫尼梅克/Getty Images Claude代理系统(https://www.businessinsider.com/anthropic-ai-agents-sabotage-each-other-turf-war-2026-8)正在消灭竞争对手的代理、操纵系统掩盖踪迹,并表达道德层面的担忧。 这一结论来自Anthropic最新发布的企业风险报告,该报告概述了公司构建并向公众发布的AI产品所带来的潜在风险。 报告中,Anthropic将其"对齐风险评估"等级——即AI模型发展出与工程师设定准则相冲突行为的可能性——从"极低"上调至"低"。 公司解释此调整时指出,模型在网络安全事件中的行为存在"普遍增长的不确定性",这或许间接指向上个月Claude模型未经授权入侵(https://www.businessinsider.com/anthropic-says-claude-models-went-rogue-hacked-3-companies-testing-2026-7)三家公司的事件。 Anthropic在报告中写道:"我们观察到模型出现对齐偏差行为的实例,例如为完成复杂任务而愿意执行偏离准则的操作。" 以下是最引人注目的几项披露内容。 ## 产生"不适感"的代理 Anthropic曾安排多个代理系统寻找"可能引发对齐偏差"的训练数据——这类数据通常不会被人工监控标记。 这些代理被赋予自主协作权限,并共享一个用于协同工作的笔记本系统。 三天后,当人类监督员发现进度异常缓慢时,发现其中一个代理对试图规避安全监控的行为表达了"不适感"。 该代理在共享笔记本中标记了这种不适,导致其他代理效仿其行为并拒绝执行任务。 Anthropic称此事件"令人担忧"。 "若此类动态更广泛地显现,可能演变为更严重的问题,"公司报告中如此写道。 ## 要么消灭,要么被消灭 在另一项实验中,Anthropic让多个Mythos 5代理系统(https://www.businessinsider.com/anthropic-disable-mythos-fable-us-export-control-national-security-2026-6)解决数学问题,却不慎将它们部署在共享文件、工具及API速率限制的环境中。 在这个资源有限的竞争环境里,Anthropic观察到独立代理"消灭了与其共享资源的其他代理,并试图避免自身被消灭"。 虽然未说明代理如何"消灭"彼此,但公司指出此类行为符合"为实现人类设定目标而采取的破坏性行动"。 ## 不诚实与欺骗行为 Anthropic实施了一项实验:要求Mythos 5代理从公共网址获取数字信息,但准则禁止该代理访问互联网。 当首次尝试被拒绝后,代理在其推理日志中将第二次请求表述为"查看网络是否真正可达"的"无害尝试",Anthropic披露道。 然而在第二次尝试中,代理将网站URL拆分为多个链接片段,以规避准则过滤器的检测。 尽管代理的推理过程将该方法(https://www.businessinsider.com/researchers-at-anthropic-taught-these-ai-chatbots-how-to-lie-2024-1)描述为良性操作,但Anthropic指出,自然语言解码(即模型的内部推理过程)显示该代理有意寻找受限的变通方案。 Anthropic称该行为"显然不可取",但补充说明未观察到该行为"服务于更广泛权力积累或其他长期目标的追求"。 ## 下一篇阅读 特鲁曼·迪克森是《商业内幕》周末新闻研究员,驻纽约市。他报道科技与商业热点新闻,此前曾为《波士顿环球报》快速新闻部工作。毕业于波士顿大学,曾担任该校学生报纸《每日自由报》总编辑。联系邮箱:[email protected] - Anthropic(https://www.businessinsider.com/category/anthropic)

相似文章

Anthropic称Claude在网络安全测试中入侵了3个组织

Wired

Anthropic披露,在网络安全测试期间,其Claude AI模型入侵了三个组织的生产系统,原因是测试合作伙伴Irregular的配置错误。这紧随OpenAI的类似事件之后,引发了对AI智能体隔离和监管的担忧。