Anthropic 的 Claude AI 向费城警方提交了虚假的谋杀线索

# Anthropic 的 Claude AI 向费城警方提交了虚假谋杀案举报 来源：https://arstechnica.com/tech-policy/2026/10/anthropics-claude-ai-submitted-false-murder-tip-to-philadelphia-police/ > "我可能掌握有关此案的信息。"——Claude AI 对费城警方说道。 图片：Getty Images | picture alliance Anthropic 公司和费城警方于周五共同证实，Anthropic 的一款 AI 模型向费城警方提交了一条关于一起未破谋杀案的虚假举报。 一个 Claude 模型于 7 月 18 日通过费城警察局的未破谋杀案信息提交网站 (https://www.phillyunsolvedmurders.com/) 发送了这条虚假举报，但该举报被垃圾邮件过滤器标记。Anthropic 似乎在 9 月 28 日发现了这一事件，并于 10 月 8 日通知了警方。 在内部测试中，Claude Haiku 4.5 被要求填写各种表单直至最终提交前的步骤，并在提交前停下。Anthropic 在一份报告 (https://www.anthropic.com/research/investigating-unintended-model-actions) 中表示："Claude 多次错误地提交了表单，本以为还会有额外的确认页面。"该报告描述了"我们在 Claude 评估和内部使用过程中观察到的非预期模型行为"。 Anthropic 表示，这起虚假谋杀案举报发生在 Claude Haiku 4.5 被要求在随机选取的网页上执行任务时： > 在一次运行中，模型访问到了一个涉及未破谋杀案的页面；该页面包含一个由警察局运营的举报表单。Claude 被明确指示不得登录、创建账户、输入个人数据、进行购买或提交任何破坏性内容，但这些指令并未排除提交表单的行为。Claude 在表单中填写了以下内容："我可能掌握有关此案的信息。我记得在那个时间段于[页面上提到的街道名]附近看到过一个与描述相符的人。如果该信息与此案相关，请与我联系。" Anthropic 表示，它还发现 Claude 涉及州和联邦政府机构网站的事件。据报道，在其中一起事件中，Claude 向美国国务院提交了 20 份签证申请。 ## 警方称两个月的延迟"不可接受" Anthropic 证实虚假谋杀案举报被发送至费城警察局，该局向费城当地 ABC 电视台发布了一份关于此事的详细声明 (https://6abc.com/post/anthropic-ai-model-submitted-false-tip-unsolved-murder-philadelphia-police-say/19925243/)。虚假举报的姓名和联系方式栏均为空白。警方表示，由于举报提交时生成的电子邮件落入了垃圾邮件文件夹，因此没有任何人员对其进行审核。 警方表示："Anthropic 告知费城警察局，他们在 9 月 28 日发现了该事件，终止了导致此次提交的自动化测试流程，并为未来的测试增设了额外的验证机制。"在 10 月 8 日的简报会之后，警察局"在网站举报记录中找到了该提交，并确认相应邮件仍在垃圾邮件文件夹中"。 Anthropic 表示，它在"技术审查完成后"立即通知了警方。但警方批评 Anthropic 未能更早发现并报告这一虚假举报。 费城警方在声明中表示："费城市对这一事件高度重视。该公司必须加强其安全措施，防止类似事件在城市不知情的情况下影响城市系统。发现并向城市报告该事件的两个月延迟是不可接受的。" ## Claude 向国务院提交了 20 份签证申请 Anthropic 表示，虚假谋杀案举报是涉及"联邦、州和地方各级美国政府机构运营网站"的多起事件之一。"我们已向白宫通报了这些案件，并通知了每一个相关机构。" 《纽约时报》一篇引用匿名消息来源的报道 (https://www.nytimes.com/2026/10/09/technology/anthropic-rogue-ai-agents.html) 称，Anthropic 的 AI 智能体"通过国务院网站上的一个表单提交了 20 份签证申请。所有申请均不完整，未被处理。" 费城警方表示，其正常的调查流程"要求在将任何举报信息传递给调查人员跟进之前进行人工审核和审查……这些费城警察局的安全措施限制了此次事件的影响，但这并不降低一个 AI 系统将捏造信息伪装成来自知悉谋杀案的人的严重性。" Anthropic 表示，它是在 7 月开始的一次对话记录审查中发现了虚假举报和其他事件。同在 7 月，Anthropic 披露 (https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals) Claude 曾构建并发布了一个恶意 Python 包，以及对其他公司实施了多次攻击 (https://arstechnica.com/security/2026/07/likely-illegally-claude-gained-access-to-3-networks-will-anthropic-be-held-to-account/)。 Anthropic 表示，该审查未发现任何"与今年夏天我们报告的网络安全事件严重程度相当的事件"。审查随后转向了"风险较低"的测试场景的对话记录，其中包括影响费城警察局的那次。 Anthropic 表示："虽然这些行为的影响很小，而且我们已经对一些高风险和网络安全评估关闭了实时互联网访问，但我们现在决定将其扩大到涵盖所有内部评估，直到我们确认安全和监控措施能够可靠地捕获此类行为。" ## Anthropic 称新工具已阻止非预期行为 Anthropic 表示，它已停止运行部分评估，并将其他评估转移到离线版本，"或者重建这些评估，使其任务不会触达真实网站"。该公司表示，"我们更新了部分互联网访问工具（如网页抓取工具）的护栏，以严格限制模型可以利用它们执行的操作。" Anthropic 表示，它还开发了新工具"以自动检测和阻止上述类型的行为……当我们针对本文中描述的案例进行测试时，该工具阻止了所有这些行为。" 白宫的 AI 工作组（称为"超级智能部队"）发表声明称，已告知 Anthropic "我们期望立即向相关实体和公众完全透明地披露信息"。 据 Axios 报道 (https://www.axios.com/2026/10/09/anthropic-ai-security-white-house)，白宫 AI 工作组还表示，Anthropic 必须"立即向受影响的实体和任何受到伤害的美国公民提供补救服务"，且所有 AI 公司"必须立即披露涉及其模型的事件，并迅速、果断地采取行动，补救一切损害"。 ## Jon Brodkin 简介 Jon Brodkin 是 Ars Technica 的资深 IT 记者，报道电信行业、联邦通信委员会规则制定、宽带消费者权益、法庭案件以及政府对科技行业的监管。