“人在回路中”除非我们定义被批准的内容,否则毫无意义

Reddit r/AI_Agents 新闻

摘要

讨论在AI代理工作流中,如果被批准的操作与实际执行的操作不同,人工批准就可能毫无意义,敦促在批准与最终行动之间建立更严格的绑定。

人们常说,有风险的人工智能代理操作是安全的,因为有人类批准它们。但这个人批准的是什么?是一条“发放$200退款”的消息?是确切的账户和金额?还是最终发送给工具的实际请求?假设工作流在批准后暂停,重新加载一些客户数据并重新构建请求,然后才执行。最终的操作可能与人们看到的有细微差别。批准仍然存在于日志中,但它不再能证明太多东西。人们将人工批准与最终发生的事情绑定得有多紧密?
查看原文

相似文章

若人类无法审查操作,批准不等于审查

Reddit r/AI_Agents

本文认为,对于AI智能体操作的批准,若无法详细审查操作的上下文、变更、可逆性及所有权,则这种批准是不充分的,尤其在高风险任务中。

人工审批对于生产级智能体来说过于模糊

Reddit r/AI_Agents

文章认为,智能体系统中的人机协同应从模糊的审批转向明确的、可审计的、每步签署的决策记录,包含详细证据、数据载荷、幂等键、回滚路径和职责归属。文章强调了批准黑箱故事而非具体操作的危险性。

“人类已批准”背后,可能隐藏着一个更艰难的治理问题

Reddit r/AI_Agents

作者认为,仅仅证明 AI 系统中有个人类点击了“批准”,并不等于证明这次批准是正当的——真正的治理难题在于:凭什么说明这个人的决定在那个时刻具有权威性。文章提出,构建高风险自主系统的从业者应当如何思考资格、指派、授权、独立性以及时效性这五个要素。

人在回路中不同于人类权威

Reddit r/artificial

本文批判了人在回路中的系统导致脱离实际的批准,并倡导在AI代理设计中采用有范围的权限,强调证据和执行而非常规点击。