人工审批并非 AI 智能体的弱点

Reddit r/AI_Agents 新闻

摘要

本文主张,人工审批是建立信任和制定策略的关键机制,而非需要消除的弱点。文章建议利用审批模式来安全地迭代扩展智能体的自主权。

人工审批并非 AI 智能体的弱点,而是信任传递的方式。许多团队将审批视为辅助轮,希望尽快将其移除,因为“自主性”听起来更令人印象深刻。我认为这种观点本末倒置。审批环节正是系统学习人类真正关切之所在的过程。并非抽象意义上的关切,而是针对那些错综复杂的案例。比如,潜在客户几乎符合标准,但又不完全匹配;CRM 系统和网站描述相互矛盾;草稿虽然技术上正确,但会让公司难堪;客户提出的问题实质上是价格异议。智能体可以继续执行,但优秀的人类运营者会在此暂停。这种“暂停”就是宝贵的产品数据。 如果我要为真实的商业工作流构建一个智能体,我不会首先问“如何去除人工环节?”,而是会问: 1. 哪些决策风险足够低,可以由智能体独立做出? 2. 哪些决策因为涉及声誉、资金或客户信任等高风险后果而需要人工介入? 3. 人类在审批前通常会修改哪些内容? 4. 哪些修改频繁出现,从而可以转化为规则? 5. 智能体在何时应该拒绝行动? 目标并非永久的审批,而是将重复的审批模式转化为更完善的策略。起初,由智能体起草,人类审批;随后,智能体在约束条件下起草;接着,它独立处理枯燥的常规案例;最后,仅将离奇异常的案例升级处理。自主性应当如此扩展:基于证据,而非基于自信。 这也是为什么“人在回路(human in the loop)”是一个糟糕的术语。它让人类听起来像个阻碍者。在早期的智能体系统中,人类是品味函数、风险模型以及处理奇异边缘案例的真实来源。过早移除人类环节,你得到的不是自主性,而是一种更快地犯下自信错误的方式。 我的经验法则是:如果智能体无法解释为何行动是安全的,它就不应行动。让它可以自由地进行研究、分类、总结、起草和推荐;但仅当触发条件清晰、上下文干净且犯错成本低廉时,才让其执行。审批不是自主性的对立面,而是通往自主性的桥梁。
查看原文

相似文章

若人类无法审查操作,批准不等于审查

Reddit r/AI_Agents

本文认为,对于AI智能体操作的批准,若无法详细审查操作的上下文、变更、可逆性及所有权,则这种批准是不充分的,尤其在高风险任务中。