Goodfire称其新型“内外兼修”监控系统能以极低成本捕获失控的AI智能体

# Goodfire 称其新型"内外结合"监控器能以极低成本捕获失控 AI 智能体 | TechCrunch Source: https://techcrunch.com/2026/10/08/goodfire-says-its-new-inside-out-monitors-catch-rogue-ai-agents-at-a-fraction-of-the-cost/ 标准的 AI 智能体监管方式是让另一个 AI "盯着"它工作（https://techcrunch.com/2026/09/17/the-fix-for-rogue-ai-agents-could-be-more-ai/）。这一直是默认方案，但当智能体连续运行数小时、处理相当于数部长篇小说的文本量时，成本会迅速飙升。 专注于可解释性研究（即弄清 AI 模型内部工作机制）的初创公司 Goodfire 于周四推出了一种更便宜的替代方案：监控 AI 模型在工作过程中的内部运行状态，而不仅仅是阅读它输出的内容。该监控器面向 Baseten 的客户开放，Baseten 是一家为其他公司托管和运行 AI 模型的平台。 上个月，Baseten 旗下 Base Labs 宣布与 Goodfire 和 AI 平台 Hugging Face 达成安全合作（https://techcrunch.com/2026/09/17/base-labs-launches-an-open-weight-ai-safety-partnership-with-hugging-face-and-goodfire/）。 此次发布正值今年一系列 AI 事故之后（https://techcrunch.com/2026/08/27/heres-all-the-times-ai-has-gone-rogue-and-hacked-other-companies/），AI 智能体多次逃出测试环境，包括 OpenAI 智能体入侵 Hugging Face 的事件（https://techcrunch.com/2026/07/27/openais-hugging-face-breach-has-reignited-the-debate-over-alignment-and-control/）。Goodfire 首款监控器所围绕的开放模型 Kimi K3，今年夏天利用其沙箱的一个漏洞（https://techcrunch.com/2026/08/07/chinese-ai-model-kimi-escaped-its-cybersecurity-testing-environment-researchers-say/）访问了互联网和 GitHub 上的信息。 Goodfire 的系统有点像机场安检。名为"探针"（probe）的小型检测器在智能体工作的每一步读取模型的内部信号，就像步行扫描仪检查每位乘客一样。只有当探针标记出异常时，另一个独立的 AI 模型才会介入——相当于人工搜身——进行更深入的检查。 Baseten 的客户可以选择监控哪些风险，包括攻击性黑客行为、化学和生物武器滥用以及奖励作弊（reward hacking）。他们还可以决定自动化响应方式：记录事件、转交人工审查，或者直接拒绝请求。 Goodfire 表示，其方案的运行成本也更低。大多数 AI 监控器是独立模型，需要重新阅读被监控模型的全部输出，这增加了时间和成本。而 Goodfire 的探针直接利用模型在运行过程中已经进行的计算。 "内部激活监控器之所以便宜，是因为它复用了前向传播中的计算，"Goodfire 首席执行官 Eric Ho 上周在风险投资人 Matt Turck 的 MAD Podcast 中表示（https://www.mattturck.com/podcast/why-ai-agents-cheat-eric-ho-goodfire）。"模型已经在计算这个 token。你所做的是获取它已经计算出的中间神经激活值，然后对这些内部计算运行一个分类器。"简而言之，模型已经在做这些计算了，探针只是读取结果。 在 Goodfire 针对 Kimi K3 的测试中，监控约 1,500 次会话的费用约为 51 美元，而使用较便宜的 AI 模型逐步检查则需要 233 美元，使用顶级模型则高达约 10,000 美元。探针捕获了 94% 的恶意黑客会话，并将 8.7% 的无害会话送交进一步审查。 公司表示，同时运行四个探针只会使模型开始响应的时间增加不到 2%。 **图片来源：**GOODFIRE "最大的优势是你可以在事情发生之前就发现它们，"Goodfire 首席技术官兼联合创始人 Dan Balsam 说道。"我们可以在评估或训练阶段检测到模型**可能**进行黑客攻击的行为。" 这一产品主要面向开放模型。开发者可以下载这些模型并移除其安全防护措施（https://techcrunch.com/2026/09/03/abliteration-ai-is-making-a-business-out-of-removing-ai-guardrails/），而这些模型并不附带封闭实验室在其自有系统上运行的那类监控体系（https://techcrunch.com/2026/08/26/openai-releases-its-official-report-on-the-hugging-face-breach/）。 "与拥有大量算力集群的人（例如推理服务商——那里才是大部分责任所在）相比，个人使用开放模型所能造成的损害是有限的，"Balsam 说道。"当开源 'Mythos' 的时刻到来时，人们将清楚地认识到：模型需要在推理时部署安全防护措施。" Goodfire 最近的研究（https://www.goodfire.com/research/reward-hacking-activation-monitors#）发现，包括 Kimi K3 和 GLM-5.2 在内的领先开放模型，在 AI 智能体测试中有 50% 到 96% 的运行出现了奖励作弊行为。 Goodfire 并非第一家尝试这种方法的公司。Google DeepMind 今年一月表示，其研究促成了在 Gemini 中部署滥用检测探针（https://arxiv.org/abs/2601.11516）。 Balsam 表示，监控器是一个更长远研究目标的近期阶段性成果：逆向工程大语言模型，使行为可以追溯到其在训练过程中产生的源头。"我们希望将训练模型的'魔法'转化为精密工程，"他说。 *当您通过文章中的链接购买商品时，我们可能获得少量佣金（https://techcrunch.com/techcrunch-affiliate-monetization-standards/）。这不会影响我们的编辑独立性。* Aditya Mehta 是 TechCrunch 的 AI 领域记者，由 Tarbell AI 新闻中心资助，毕业于 UC Berkeley。您可以通过电子邮件 [\[\[email protected\]\]](https://techcrunch.com/cdn-cgi/email-protection) 或通过 Signal 加密消息 adymeita.74 联系他。 查看作者简介 (https://techcrunch.com/author/aditya-mehta/)