审计了我们AI代理设置中的1,228次人工干预。91%不是决策，因此我们停止让代理说“完成”。

我们运行约25个AI代理工作区（PM → Dev → Tester → Critic → Release）。代理通过在评论中使用PASS和RELEASE_READY等标记来交接工作。我们审计了8周的数据： - 只有约9%的人工干预是真正的决策。其余都是验证、关闭和重新分配工作。 - 59%的任务由人工手动关闭，即使代理已经表示完成。 - 每100个任务中有8–11个是虚假的“完成”。例如，“推送了30个文件”但远程仓库上什么都没有，或者PASS低于评论员自己的阈值。 - 看板清理代理占所有任务的76%。92–95%的运行以“无操作”结束。 我们正在尝试的：保持每个代理不变，但添加一个小的服务，它们通过MCP与之通信。 - 每个任务类型的工作合同，列出必须为真的条件：链接可解析、UTM完整、发布包在远程分支上，等等。 - 由服务在推送的分支上运行检查。代理无法查看或编辑这些检查，有些是隐藏的。 - 三种状态：PASS / FAIL / UNVERIFIED。任何我们无法证明的事情都不会被伪装成通过。 - “完成”只能由服务设置。来自错误代理的标记会被忽略。 我们从影子模式开始，它只观察和记录。 问题：有人测量过他们的验证器漏检的频率吗，例如通过注入已知故障？如何处理主观检查而不让LLM法官再次成为权威？是否有人在“完成”后进行持续重新验证？