一个重新做一遍工作的验证器,不过是第二个智能体——检查行动,而不是推理。
摘要
作者提出一种 AI agent 设计模式:验证器不应重做推理或重写计划,而应只审查 agent 即将执行的动作(对照原始请求与约束),返回允许或拦截。文章还讨论了两个失败模式——过于严格与流于形式——并强调验证器必须对 agent 的理由保持盲视。
让智能体检查自己的工作,就像让同一个人给自己的作业打分。它已经认定这个计划不错,再问它一次,通常也不会改变答案。我会采用另一种模式:设置一个职责刻意收窄的验证器。它从不生成计划,只检查智能体即将执行的操作。它接收三样东西:拟执行的操作、原始请求和约束条件。它返回允许或阻止,并附上理由。它绝不提出替代方案,因为一旦开始改写计划,它就变成了另一个智能体,带来第二套意见和第二笔费用。它检查的内容很少,也很具体:接收方是否符合请求,金额或范围是否在限定之内,操作是否只做了要求的事,没有额外动作。正是这种狭窄的职责范围,让每次都运行它的成本足够低——小模型甚至规则都能胜任,因为它不是在推理如何完成任务,而是在核对操作是否符合请求。设计时需要考虑两种失效情况。验证器过于严格,会阻碍正当工作,所以每次阻止操作都要记录原因,再根据这些日志进行调优。而只会照单放行的验证器比没有验证器更糟,因此它绝不能看到智能体为操作提供的辩解,只能看到操作本身。辩解本来就是为了说服别人,检查时必须将其排除在外。验证器也要有自己独立的小额预算,与智能体的预算分开,这样失控的智能体就无法耗尽检查器的额度,然后声称操作已经通过验证。你会允许验证器在不先征求人类意见的情况下否决哪些操作?
相似文章
重新思考智能体运行框架中的验证机制
该论文系统研究了智能体框架中的验证策略,对比了指令、提醒、完成门槛和独立审查四类方法,发现独立批评者审查能以极小的成本提升显著的准确率,为测试时扩展提供了实证指导。
Agentic AI 中的验证与自我改进:基础与局限
该论文提出一个理论框架,通过带隐藏终端随机性的有界验证来分析搜索、支持与检查器变化如何影响 Agentic AI 系统可接受的任务集合,并证明了独立多数放大、随机化验证器类的复杂度包含关系,以及在统一有界自修改下递归自我改进仍停留在同一验证类内的结论。
AI代理能完成任务但仍然算失败吗?
本文引入“验证税”(Verifier Tax)概念,将AI代理的结果分类为安全成功、不安全成功或失败,并为使用工具的LLM代理提出了一种双层验证架构。
你的 agent 说「完成了」——怎样让这个词真正有意义
文章探讨了 AI agent 系统中「任务完成」信号不可靠的问题,并提出三层验证框架——回执、读回校验和独立检查——以证据驱动的方式定义何为真正的完成。
智能体不应成为其自身工作的真相来源
本文讨论了AI智能体的架构原则,强调智能体不应成为其自身工作的真相来源,倡导使用带有合约和独立验证的事件驱动系统以确保可靠性。