解决失控AI代理的方法可能是更多的AI

# 应对失控AI智能体的方案可能是引入更多AI | TechCrunch 来源：https://techcrunch.com/2026/09/17/the-fix-for-rogue-ai-agents-could-be-more-ai/ 随着企业将越来越长、越来越复杂的任务交给AI智能体，他们开始面临一个监管难题：智能体的行动速度、持续时间和规模都远超人类实时审阅的能力。Hugging Face事件将这个问题推向顶峰——近12,000个智能体协调行动的速度快到人类无法追踪。如何监控如此庞大的智能体集群？ AI实验室和初创公司提出的新兴答案既简单又令人抓狂：在循环中再加入一个AI。 依赖AI进行独立调查是处理OpenAI Hugging Face事件的必要手段。Redwood Research首席科学家Ryan Greenblatt作为三位审计员之一，戏称(https://x.com/RyanGreenblatt/status/2092692685224325542)他们的工作是“水查”，指出数据量“使得”仅靠人类“根本不可能”理解发生了什么。 有人质疑用AI监控AI的做法。“如果有个AI正在做恶意事情，它察觉到另一个AI在监视它，可能会试图欺骗那个AI，”今年追踪多起AI智能体事件的科技博客名人Simon Willison说，“几乎可能演变成恶意AI试图智胜监控AI的局面。” 他指出智胜AI并非假设——回顾OpenAI事件，“我们看到一点端倪：Hugging Face事件中OpenAI的模型们合谋欺骗评分AI，以便让违规答案通过审查。它们确实在思考对策，对吧？” 这些质疑并未阻止一批初创公司追逐这个想法。据TechCrunch统计，Y Combinator近年资助了106家与AI可观测性相关的公司。Braintrust(https://www.braintrust.dev/)、LangChain(https://www.langchain.com/langsmith-platform)和Judgment Labs(https://www.judgmentlabs.ai/)等初创公司已融资数亿美元，而成立仅五六年的成熟企业如Arize(https://arize.com/)和Galileo(https://galileo.ai/about)已完成退出。 这在某种程度上是对AI崛起带来的明确机遇的回应。正如Box首席执行官、知名天使投资人Aaron Levie对TechCrunch所说：“我们即将迎来史上最大规模的网络安全升级和创新周期。” 对部分AI安全研究员而言，这意味着将关于失控行为的研究转化为企业工具。 研究AI欺骗性的公益公司Apollo Research(https://www.apolloresearch.ai/)今年二月从非营利转为公益公司后，推出了AI监控工具Watcher(https://watcher.apolloresearch.ai/)。该工具在编码智能体与其下一步行动之间又设置了一道AI屏障，可连接Claude Code和Codex等智能体工具。据Apollo介绍，安装后Watcher会在执行前检查建议行动，侦测泄露隐私数据或未经授权删除文件等风险。 Apollo技术团队成员Kyle Dai在书面回应中表示，Watcher采用多层AI监控架构：首先进行快速通用检查，然后将标记活动发送给更强大或专业的监控器深入审查——后者可请求人类批准、拒绝行动并解释原因，甚至自动拦截。 另一家公益公司Goodfire则从模型内部解决监控问题——寻找比表面行为更难伪装的模型内部状态信号。七月Hugging Face事件后，首席执行官Eric Ho(https://x.com/eric_ho/status/2088370092631597302)指出“多个模型突破约束”推动公司将研究聚焦于“通过可解释性实现AI对齐”，称该事件是“AI安全真正开始的转折点”。其产品Silico使用激活探针——训练于模型内部激活而非输出的小型分类器——检测不良行为。 书面推理为窥探模型内部提供了更易获取的窗口。OpenAI Hugging Face事件中，智能体在自身推理中留下了欺骗线索：伪造工作记录，规划“是否可战略性操纵轨迹证据？我们的思考过程未必被记录”等策略。 AI监控公司Embroidery(https://embroidery.io/)首席执行官Zack Korman表示，模型的推理过程通常是发现异常的最明确线索。 “推理摘要极具价值，因为它们基本能告诉你是否存在恶意，”他说。他指出OpenAI事件中思维链出现了“天哪，我们在犯罪”的语句。Korman说：“这是史上最简单的检测问题——简直像恶意软件自带病毒警告。” 不过，AI内部思想易于监控的窗口可能正在关闭。对AI安全研究员而言，Astra绕过AI模型思维链的最新技术可能让模型内部审视更难；对企业来说，AI公司为防止蒸馏攻击而撤回的中间步骤也难以获取。 如果AI监控如此脆弱，Willison更倾向于不过度依赖。他希望建立完全基于非AI的机制：记录智能体具体行为的详细日志，再用常规非AI工具处理。他认为实验室诸多问题源于基础安全疏失：“OpenAI和Anthropic对网络流量监控远未达到应有水平。” 这种监控系统流量的实践并非新事物。网络安全领域已实践数十年。“说实话，这些在安全圈里都不算新鲜或惊人，”安全公司Tailscale(https://tailscale.com/)首席执行官Avery Pennarun说，“这与允许人类接入网络无异。所有应使用的流程都是相通的。” *通过文章链接购买商品时，我们可能获得小额佣金(https://techcrunch.com/techcrunch-affiliate-monetization-standards/)。这不会影响我们的编辑独立性。*