人工审批并非 AI 智能体的弱点
摘要
本文主张,人工审批是建立信任和制定策略的关键机制,而非需要消除的弱点。文章建议利用审批模式来安全地迭代扩展智能体的自主权。
人工审批并非 AI 智能体的弱点,而是信任传递的方式。许多团队将审批视为辅助轮,希望尽快将其移除,因为“自主性”听起来更令人印象深刻。我认为这种观点本末倒置。审批环节正是系统学习人类真正关切之所在的过程。并非抽象意义上的关切,而是针对那些错综复杂的案例。比如,潜在客户几乎符合标准,但又不完全匹配;CRM 系统和网站描述相互矛盾;草稿虽然技术上正确,但会让公司难堪;客户提出的问题实质上是价格异议。智能体可以继续执行,但优秀的人类运营者会在此暂停。这种“暂停”就是宝贵的产品数据。
如果我要为真实的商业工作流构建一个智能体,我不会首先问“如何去除人工环节?”,而是会问:
1. 哪些决策风险足够低,可以由智能体独立做出?
2. 哪些决策因为涉及声誉、资金或客户信任等高风险后果而需要人工介入?
3. 人类在审批前通常会修改哪些内容?
4. 哪些修改频繁出现,从而可以转化为规则?
5. 智能体在何时应该拒绝行动?
目标并非永久的审批,而是将重复的审批模式转化为更完善的策略。起初,由智能体起草,人类审批;随后,智能体在约束条件下起草;接着,它独立处理枯燥的常规案例;最后,仅将离奇异常的案例升级处理。自主性应当如此扩展:基于证据,而非基于自信。
这也是为什么“人在回路(human in the loop)”是一个糟糕的术语。它让人类听起来像个阻碍者。在早期的智能体系统中,人类是品味函数、风险模型以及处理奇异边缘案例的真实来源。过早移除人类环节,你得到的不是自主性,而是一种更快地犯下自信错误的方式。
我的经验法则是:如果智能体无法解释为何行动是安全的,它就不应行动。让它可以自由地进行研究、分类、总结、起草和推荐;但仅当触发条件清晰、上下文干净且犯错成本低廉时,才让其执行。审批不是自主性的对立面,而是通往自主性的桥梁。
相似文章
若人类无法审查操作,批准不等于审查
本文认为,对于AI智能体操作的批准,若无法详细审查操作的上下文、变更、可逆性及所有权,则这种批准是不充分的,尤其在高风险任务中。
我认为大多数“AI agent”项目失败是因为人们跳过了乏味的权限层
作者认为,成功的AI agent产品需要一个健壮的权限系统,包括只读、草稿、审批、有限执行和审计层,优先考虑安全性而非表面的神奇效果。
你究竟是如何决定哪些AI代理操作需要经过人类批准才能执行的?
本文探讨了如何判定哪些AI代理操作需要人类审批,引用了2026年1月一起未经授权的2700万美元转账事件,并提出了基于可逆性和影响程度的评估框架。
你实际上是如何为AI代理构建审批门的?我确信大多数都只是形同虚设
作者认为,许多针对AI代理的人工审批门效果不佳,如同虚设;并提出了一个框架,用于设计能够真正捕捉错误的有意义的审查机制。
AI代理的真正风险始于它们停止起草、开始行动的那一刻
文章强调了AI代理从起草转向自主行动时的关键风险转变,并警告了“漂移”现象——即人类审批沦为橡皮图章,从而引发非预期的自动化。