当提案变更时，批准应失效

Reddit r/AI_Agents 新闻
agent-systems human-approval authorization ai-safety security proposal-binding

摘要

本文主张，在代理系统中，人工批准应绑定到提案的具体细节，并在提案变更时失效，从而防止未授权操作，确保系统安全。

许多代理系统添加了人工批准步骤，并声称解决了授权问题。但想象一下，人类批准了：向供应商A发送4000美元，发布草稿v7，邀请这12个人。然后代理在执行前编辑了金额、草稿或收件人列表。操作类型未变，但已批准的操作已不同。我找到的最简洁规则是将批准绑定到确切提案的哈希值：操作者、目标、内容/金额、源版本和过期时间。任何关键变更都会使其失效，并重新请求批准。这会导致更多的重新批准提示，但能防止“用户批准了一笔付款”成为另一笔付款的授权依据。目前你将哪些字段绑定到批准上？哪些变更足够安全而不使其失效？
查看原文

相似文章

人工审批对于生产级智能体来说过于模糊

Reddit r/AI_Agents

文章认为，智能体系统中的人机协同应从模糊的审批转向明确的、可审计的、每步签署的决策记录，包含详细证据、数据载荷、幂等键、回滚路径和职责归属。文章强调了批准黑箱故事而非具体操作的危险性。

智能体权限应在其上下文失效前过期

Reddit r/AI_Agents

本文提出了一种新的AI智能体权限模型，该模型通过设置具体的作用范围、有效期、重试规则及审计追踪机制，确保智能体的操作在限定时间内保持有效。

若人类无法审查操作，批准不等于审查

Reddit r/AI_Agents

本文认为，对于AI智能体操作的批准，若无法详细审查操作的上下文、变更、可逆性及所有权，则这种批准是不充分的，尤其在高风险任务中。