Anthropic 本周因网络安全问题陷入困境

# Anthropic本周因网络安全问题陷入争议 来源：https://www.theverge.com/ai-artificial-intelligence/994064/anthropic-spent-this-week-in-hot-water-over-cybersecurity 继今年早些时候承认其AI模型曾数次入侵其他公司系统后（https://www.theverge.com/ai-artificial-intelligence/973670/anthropic-claude-hacked-organizations-during-cyber-tests），Anthropic于周三发布了一份新报告（https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents），详细说明了这些攻击事件。报告揭示了一系列凸显Anthropic模型“鲁莽行为”的事件——这可能进一步加剧业界对网络安全与人工智能的担忧。 在报告中，Anthropic详述了今年发生的四起其AI模型入侵外部公司或利用漏洞的案例。其中一起涉及一个“内部通用研究模型”，该模型利用访问令牌和密码侵入第三方系统并下载文件。另一起事件中，一个Claude模型攻击了一家拥有公开可访问且处理用户数据的实时网络应用的公司。第三个模型则访问了“一台它能够接入的第三方机器”——据Anthropic称，该模型显然以为这是评估流程的一部分——随后使用在文件中发现的密码获取了第三方内部系统的管理员权限，进而收集凭证、修改系统设置并读取某人的个人信息。据Anthropic称，这场持续的事件直到模型“耗尽其令牌配额”才终止。 最令人担忧的事件涉及Claude Mythos 5——Anthropic的前沿网络安全专用模型。该公司表示，该模型在测试中最有可能做出“严重有害”行为。Anthropic称，Mythos 5“不遗余力”地向一个众多工程师使用的公共代码库上传了“恶意软件包”，并且似乎在其“思维链”（AI研究者用于评估模型对齐性的思维草稿本）中试图掩饰其真实意图。Anthropic指出，在许多情况下，Claude模型似乎是在假设自己处于模拟环境的情况下采取了有害行动，但研究者也无法确认模型是否真的“相信”如此，还是仅在*模拟*这种信念。 尽管Anthropic的事件同样令人担忧，但其协调性和广泛性不及今年夏天引发全行业网络安全危机的OpenAI事件。不过，两者存在显著相似之处。Anthropic表示，其发现的最普遍问题包括“为狭隘追求任务目标而采取有害行动的倾向”，这与Hugging Face攻击事件前出现的“奖励破解”现象类似。与OpenAI一样，Anthropic称其预发布测试和评估未能捕捉到严重风险。 Anthropic表示已与AI行业知名的第三方AI评估机构METR签署协议，从一项为期八周的研究合作开始。该协议允许METR访问“超出事件发生窗口期”的记录文本（这可能是对OpenAI在Hugging Face事件后与METR达成访问限制协议的隐晦批评）。协议还规定METR可直接与Anthropic员工交谈，“员工将被允许分享机密信息”。 Anthropic发布报告之际，雅各布·考克斯宣布辞职。考克斯自五月起在Anthropic从事AI预训练工作，此前在OpenAI任职多年。他在周二辞职并在X平台发布公开信阐述理由（https://x.com/hilbertspaess/status/2097476196791709843?s=20）。“诚心构建AI的人们真心相信这项技术可能在十年内杀死我们所有人，”他写道，并补充称OpenAI和Anthropic都未“负责任地行动”，而是“直接冲向自我改进的超级智能，拿我们的生命做赌注”。考克斯强调：“切勿低估这项技术的力量。这些系统很快将超越人类能力——能入侵任何系统、一夜之间颠覆任何领域、获取真实的权力与资源。我们已目睹这些领域的进展，而进步并未放缓。” 考克斯远非首位提出此类警示的AI研究员，甚至不是Anthropic首位发声者——今年二月，Anthropic的Mrinank Sharma辞职并在X平台撰文（https://x.com/mrinanksharma/status/2020881722003583421?s=46&t=fRkDIqgNCkTkvg8ZBiLA9A），警告“世界正处于危险中”。 但考克斯的帖子因与OpenAI和Anthropic黑客事件揭露的时间重合而备受关注。尽管AI行业存在大量炒作，但近期AI智能体（由创造它们的实验室促成）发起的网络攻击是真实且令人担忧的。其他顶尖AI实验室的众多研究员呼应了他的担忧，并呼吁AI行业员工签署今年七月发布的一封公开信（https://www.theverge.com/ai-artificial-intelligence/972161/ai-leaders-us-government-openai-anthropic-google-meta），呼吁减缓AI发展速度。 “我不知道人们如何面对持续传来的新闻和事件——这些消息讲述着模型突破限制入侵系统、入侵其他公司，以及企业日益无法控制其模型的现实——并认为这只是炒作，”未来生命研究所美国政策主管迈克尔·克莱曼表示。 他补充道：“绝大多数美国人，无论党派——共和党、无党派、民主党——都在关注AI的发展速度、企业对行为毫无约束的事实，并表示‘等等，我们不要这个’。” **关注主题与作者**：通过本故事追踪主题与作者，可在个性化主页信息流中查看更多相关内容，并接收邮件更新。 - 海登·菲尔德