多数智能体框架中的“人在回路中”只是形式 - 在你批准后，模型仍会执行操作
摘要
文章认为，许多AI智能体框架中的“人在回路中”机制是表演性的，因为模型在获得批准后仍然会执行操作，削弱了有意义的人类控制。
暂无内容
相似文章
“人在回路中”除非我们定义被批准的内容，否则毫无意义
讨论在AI代理工作流中，如果被批准的操作与实际执行的操作不同，人工批准就可能毫无意义，敦促在批准与最终行动之间建立更严格的绑定。
人在回路中正沦为企业作秀。
Anthropic 警告称，随着 AI 生成代码的速度超过人类审查速度，人工审查正成为瓶颈，这引发了对自主性和安全性的担忧。
引用 Jon Udell
Jon Udell 主张将 'human in the loop' 重新定义为 'human agent in the loop'，即人类邀请AI代理进入协作过程，而非被机器驱动的循环所支配。
人工审批对于生产级智能体来说过于模糊
文章认为，智能体系统中的人机协同应从模糊的审批转向明确的、可审计的、每步签署的决策记录，包含详细证据、数据载荷、幂等键、回滚路径和职责归属。文章强调了批准黑箱故事而非具体操作的危险性。
你究竟是如何决定哪些AI代理操作需要经过人类批准才能执行的？
本文探讨了如何判定哪些AI代理操作需要人类审批，引用了2026年1月一起未经授权的2700万美元转账事件，并提出了基于可逆性和影响程度的评估框架。