不要让代理自行验证
摘要
文章概述了一条自主代理规则，其中制造者和验证者为独立代理，工作流程包括在验证失败后升级至人类。
我为自主代理确定的规则：制造者 ≠ 验证者
我的循环：任务 → 制造者 → PR / 证据 → 验证者 → 拒绝 → 返回给制造者或升级给人类 → 接受 → 发布 / 合并到主分支 → 完成
验证者是一个具有全新上下文的独立代理。它接收验收标准和证据，从不接收制造者关于其自身工作正确的解释。如果验证失败，它会带着反馈返回给制造者。经过3轮失败后，它会升级给人类，而不是无限循环。
相似文章
单独的验证代理真的能解决这个问题吗？
作者讨论了在AI辅助开发交易机器人过程中验证的挑战，并提出了一个多代理方法，包括独立的实现、审查和测试代理，以提高可靠性。
当你的智能体调用另一家公司的智能体时——谁在真正验证握手？
一位开发者描述了当一个AI智能体调用第三方供应商的智能体时遇到的认证和授权漏洞，重点说明了权限提升、未验证链和混淆代理攻击等故障模式。他们向社区询问如何处理跨组织智能体调用验证。
为何AI代理需要经过验证的人类为其负责
探讨了让经过验证的人类为AI代理行为负责的必要性，强调了问责制和安全问题。
对于调用工具或自动化的代理，你们在使用哪些验证模式？
文章讨论了AI代理的验证模式，以确保可靠性，建议的技术包括分离执行者和验证者、强制结构化输出，以及使用证据上限来防止幻觉和不当行为。
智能体不应成为其自身工作的真相来源
本文讨论了AI智能体的架构原则，强调智能体不应成为其自身工作的真相来源，倡导使用带有合约和独立验证的事件驱动系统以确保可靠性。