6 种智能体人工介入模式,从最轻度干预到全面审批
摘要
概述了 AI 智能体的六种人类参与模式,按干预程度排序:仅记录日志、摘要审查、置信度阈值、先起草后发送、对产生外部影响的操作设置审批关卡,以及对高风险操作实行双人审批。
按操作选择,因为一个智能体可以使用多种方式。**仅记录日志**:智能体执行操作,你之后查看执行记录。适合只读查询。**摘要审查**:操作照常执行,每天将摘要发送给有能力撤销这些操作的人。**置信度阈值**:只有当评分或规则检查结果低于你设定的阈值时,智能体才会询问。**先起草,再发送**:智能体撰写邮件或工单,由人点击发送。这是开展客服工作的合理起点。**对产生外部影响的操作设置审批关卡**:凡是花钱或联系客户的操作,都必须等到批准后才能执行。LangGraph 中断和 Claude Agent SDK 钩子都能实现这一点。**双人审批**:适用于超过设定限额的退款或生产环境变更。你会如何划分第 4 种和第 5 种方式的界限?
相似文章
@sairahul1: https://x.com/sairahul1/status/2068986018943156440
一份关于生产系统中15种AI智能体设计模式的全面指南,阐述了每种模式的使用时机和常见陷阱。
大多数人类在环代理系统批准的是一个故事,而非一个行动
文章批评了AI代理中常见的人工在环审批系统,认为批准自然语言摘要而非具体的执行步骤不足以确保安全。文章主张审批应附加到结构化状态、工具调用和持久化执行产物上。
多数智能体框架中的“人在回路中”只是形式 - 在你批准后,模型仍会执行操作
文章认为,许多AI智能体框架中的“人在回路中”机制是表演性的,因为模型在获得批准后仍然会执行操作,削弱了有意义的人类控制。
@Aurimas_Gr: 作为AI工程师,你必须了解这些𝗔𝗴𝗲𝗻𝘁𝗶𝗰 𝗦𝘆𝘀𝘁𝗲𝗺 𝗪𝗼𝗿𝗸𝗳𝗹𝗼𝘄 𝗣𝗮𝘁𝘁𝗲𝗿𝗻𝘀。如果你……
文章描述了在企业环境中构建代理式AI系统的五种关键工作流模式,由Anthropic总结:提示链、路由、并行化、编排器以及评估器-优化器,并建议在使用完整Agent之前优先采用更简单的工作流。
提示词指令没能阻止我的 Agent,但调用时的检查做到了。四个经受住验证的模式
一位实践者分享了四个硬性护栏模式——直接对 AI Agent 的工具调用本身强制执行检查,而非依赖提示词中的指令。这些模式经过其两个月的 Claude Code 历史记录验证,表明运行时参数校验、顺序约束、最坏情况预算预留以及明确的拒绝消息,可以防止 Agent 绕过指令。