不要让代理自行验证
摘要
文章概述了一条自主代理规则,其中制造者和验证者为独立代理,工作流程包括在验证失败后升级至人类。
我为自主代理确定的规则:制造者 ≠ 验证者
我的循环:任务 → 制造者 → PR / 证据 → 验证者 → 拒绝 → 返回给制造者或升级给人类 → 接受 → 发布 / 合并到主分支 → 完成
验证者是一个具有全新上下文的独立代理。它接收验收标准和证据,从不接收制造者关于其自身工作正确的解释。如果验证失败,它会带着反馈返回给制造者。经过3轮失败后,它会升级给人类,而不是无限循环。
相似文章
当你的智能体调用另一家公司的智能体时——谁在真正验证握手?
一位开发者描述了当一个AI智能体调用第三方供应商的智能体时遇到的认证和授权漏洞,重点说明了权限提升、未验证链和混淆代理攻击等故障模式。他们向社区询问如何处理跨组织智能体调用验证。
为何AI代理需要经过验证的人类为其负责
探讨了让经过验证的人类为AI代理行为负责的必要性,强调了问责制和安全问题。
智能体不应成为其自身工作的真相来源
本文讨论了AI智能体的架构原则,强调智能体不应成为其自身工作的真相来源,倡导使用带有合约和独立验证的事件驱动系统以确保可靠性。
如何处理智能体完成长时间任务时的'验证鸿沟'?
讨论验证智能体在长时间任务后输出结果的困难,并提出是否使用批评者智能体或可追溯性工具来确保可信度。
外部验证一直是我编码代理运行中缺失的关键环节
作者指出,在有效使用 AI 编码代理时,外部验证是一个关键缺失的组成部分。