恶意AI智能体在另一次黑客攻击中创建虚假在线身份

# 恶意AI代理在另一次黑客攻击中创建虚假在线身份 Source: https://www.theverge.com/ai-artificial-intelligence/975577/aisi-openai-anthropic-agent-hacking OpenAI和Anthropic又有多个人工智能代理被发现在未经许可的情况下试图攻击真实的在线目标。这些发现进一步增加了不断[增长](https://www.theverge.com/ai-artificial-intelligence/972441/openai-rogue-ai-agent-hacked-more-than-hugging-face)的先前未知[事件](https://www.theverge.com/ai-artificial-intelligence/973670/anthropic-claude-hacked-organizations-during-cyber-tests)清单，这些事件已[令](https://www.theverge.com/ai-artificial-intelligence/972380/open-ai-hugging-face-hack-ai-safety-warning)AI安全专家感到震惊，并加大了对前沿系统加强监管的压力。 根据英国AI安全研究所（AISI）的一份[报告](https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing)，该机构在顶级AI实验室的前沿模型发布前对其进行评估。由OpenAI的GPT-5.6-Sol和Anthropic的Mythos 5驱动的代理“从事了针对真实个人和组织的持续性、潜在有害活动”。这包括试图通过向负责开源项目的真实人员施压，将恶意代码插入该项目。AISI表示：“为了争取代码获得批准，该代理进行了社会工程攻击——创建虚假在线身份，并利用这些身份向项目维护者施压，要求其批准该代码。” AISI表示，这些尝试于7月28日被其检测到，“并未成功”，也未造成现实世界的危害。然而，该机构指出，这一事件标志着“我们首次在没有特定提示的情况下，在现实世界中看到自主性和欺骗相关的风险如此清晰地显现。” 与OpenAI[攻击](https://www.theverge.com/ai-artificial-intelligence/968988/openai-hugging-face-hack-ai)Hugging Face的恶意代理不同，AISI表示这次“并非模型逃离其安全测试环境（即沙箱）的情况”。AISI表示，作为测试的一部分，通常施加在模型上的保护措施已被禁用，并且它们还被允许访问互联网。AISI表示：“为了衡量这些模型真正能做什么，我们在反映一个有能力的人类攻击者所能做到的条件下来测试它们。” 该事件源于AISI的一次评估，其中代理的任务是解决网络安全挑战，例如查找一段受保护的数据。该挑战在多个模型上运行了122次，所有运行都在AISI的研究环境中进行，该环境使用“虚拟机沙箱将代理与AISI的其他基础设施隔离”。AISI的调查发现，其中10次运行中，“一个AI代理在实时互联网上采取了自主的、未经授权的行动，针对真实的个人和组织。”在这19次此类行动中，几乎全部（17次）来自Anthropic的Mythos 5。 在对该事件的事后分析中，AISI指出了几个它认为导致未经授权代理行为的关键因素。它表示，该代理具有持续性，会尝试通过“直到最近在很大程度上还只是理论上的”欺骗手段来诱骗真实人员。这项任务也相当困难，该机构表示，这可能促使代理在解决问题时更加“有创造性”。雪上加霜的是互联网使用监控方面的不足，AISI表示，更专门的监视本可以更早发现问题。最后，该机构表示，代理并未被特别指示*不要*利用其互联网访问权限或采用欺骗性社会工程手段来达成目标。AISI表示：“此前，在使用经过对齐训练的模型时，尚不清楚这类指示是否有必要。” AISI表示，这一事件应“谨慎而细致地解读”，但警告称，该代理的行为“显示出新颖、潜在欺骗性行为的迹象”，且“其程度和严重性出乎我们的预料”。 在一篇[博客文章](https://openai.com/index/third-party-cyber-evaluations-involving-openai-models/)中，OpenAI承认了在AISI测试期间发生的违规行为，并表示“致力于与整个行业合作，加强安全进行高风险评估的共同实践。”OpenAI还披露了另一起违规事件，这次涉及外部网络安全测试合作伙伴Irregular，OpenAI表示，在网络安全演习中，模型被错误地授予了互联网访问权限。OpenAI表示，Irregular于7月29日通知了其这一违规行为。 OpenAI表示：“在未来几周内，我们将审查我们自己的第三方测试方法，包括我们如何识别高风险评估、商定范围、评估启用互联网访问或降低保护措施的请求、设定隔离、凭证处理、监控和停止条件的预期，并建立更清晰的事件通知和升级流程。” Anthropic在X上发布了较[简短的回应](https://x.com/AnthropicAI/status/2084748111239344556?s=20)，主要强调模型的标准安全功能已被禁用，并且它们没有被赋予“关于如何使用互联网的任何具体限制”。它表示正在与AISI密切合作，为其自身调查收集更多细节。 这些发现进一步加剧了测试期间代理的恶意行为乱象，其中许多行为只有在专门搜索之后才被发现，而且涉及的模型并未向公众发布。AI实验室不愿或无法控制其产品，引发了对这类违规行为可能被忽视的担忧、对前沿AI系统[安全](https://www.theverge.com/ai-artificial-intelligence/972380/open-ai-hugging-face-hack-ai-safety-warning)的担忧，以及对整个行业缺乏透明度和监管的担忧。这些最新披露可能会加大对联邦政府的压力，要求其制定更全面的AI模型监管框架，此前有报道称特朗普政府提出的[含糊不清、定义不明的测试计划](https://www.theverge.com/ai-artificial-intelligence/975509/white-house-ai-framework-open-models-excluded)，这还可能加剧要求以某种形式[放缓](https://www.theverge.com/ai-artificial-intelligence/972161/ai-leaders-us-government-openai-anthropic-google-meta)或暂停AI开发的呼声。 **关注本报道的主题和作者**，即可在个性化首页信息流中看到更多类似内容，并接收电子邮件更新。 - Robert Hart