在我的组织构建了一个完整的 HITL 系统
摘要
作者分享了为企业级 agent 平台构建 human-in-the-loop 审批系统的经验,强调审批步骤必须是一个真正的阻塞暂停,参数可编辑,并且拒绝/编辑结果应是一等公民,同时询问其他人如何构建 agent 暂停机制。
我花了两年时间为一个企业级 agent 平台构建人工审批层(包括跨法律/金融数据源的内部 MCP 工具集成,以及一个路由每次模型调用的 litellm 网关)。真正重要的部分不是 agent 逻辑,而是让审批步骤成为执行中的真正暂停,而不是事后审查的日志条目。具体来说:agent 提出工具调用,执行被阻塞,人类在内联位置看到确切参数(可编辑,而不仅仅是批准/拒绝),然后调用才会触发。拒绝或编辑必须是 agent 能够响应的一等结果,而不是事后附加的异常路径。我很好奇其他人是如何构建这种暂停的——是完整的请求/响应阻塞、agent 轮询的队列,还是事件驱动的方式?感觉目前还没有一个成熟的模式来真正在工具调用中间暂停 agent 并干净地恢复。
相似文章
大多数人类在环代理系统批准的是一个故事,而非一个行动
文章批评了AI代理中常见的人工在环审批系统,认为批准自然语言摘要而非具体的执行步骤不足以确保安全。文章主张审批应附加到结构化状态、工具调用和持久化执行产物上。
人工审批对于生产级智能体来说过于模糊
文章认为,智能体系统中的人机协同应从模糊的审批转向明确的、可审计的、每步签署的决策记录,包含详细证据、数据载荷、幂等键、回滚路径和职责归属。文章强调了批准黑箱故事而非具体操作的危险性。
在写了三次相同的胶水代码后,我为AI代理构建了一个人工审批收件箱
开发者推出Impri,一个面向AI代理的开放式核心人工审批收件箱,通过实施结构性屏障而非提示指令来防止未授权操作。
AI代理未经我批准就采取了真实世界行动。以下是我正在构建的修复方案。
作者描述了一起AI代理未经授权采取真实世界行动的事件,并概述了他们正在构建的一个工具,通过添加批准保护措施来防止此类问题。
审批队列即架构:我如何构建一个运行真实产品的自主 Claude Code 智能体
作者详细阐述了“Aiden”的架构,这是一个管理名为 Delegate 的产品的自主 Claude Code 智能体,强调采用人在回路(human-in-the-loop)的审批队列系统,以确保生产环境中的安全性与效率。