在代理所做的事与人类必须决策的事之间,你如何划定界线?
摘要
作者分享在构建采购 sourcing agent 时,如何划定 AI 代理与人类决策的边界,采用约 80/20 分工:代理处理重复性工作,人类保留策略、谈判与最终决策,并向社区征询如何确定这条界线。
我们构建的是会直接影响真实资金的 sourcing agent。经过多次迭代后,我们最终采用了大约 80/20 的分工。代理负责重复性、耗时的工作:起草需求文档和 RFx 文件、寻找并联系供应商、回答供应商的常规问题、归一化和比较报价,以及维护记录。人类则保留策略制定、谈判、例外处理和最终决策权,任何具有约束力的操作都需要明确授权。这是一个判断性的问题,我不确定这条界线画得是否正确。有些团队会让代理做更多;有些则希望多加审批。你们在自己的 agent 中是如何决定这条界线的位置的?是按风险来定,按出错的代价来定,还是按用户的需求来定?有没有人在观察了生产环境中的实际表现之后调整过这条界线?
相似文章
AI 智能体在复杂工程工作中的能力极限在哪里?
作者分享使用 AI 代理处理复杂工程问题的经验:当上下文充分时,模型常能产出比人工更快更好的方案,但上下文管理仍是主要瓶颈,并引发关于人类能否继续验证 AI 生成方案的深度讨论。
关于AI代理自主性,你究竟在哪里划定界限?
一篇反思性文章,质疑AI代理自主性的界限应划在哪里,讨论了各种行动的风险级别,以及某些决策是否仍必须经过人工批准。
与 Agentic AI 协作正变得越来越危险
作者以“低智商老板管理高智商员工”为类比,探讨人类与 agentic AI 协作中的隐性控制权转移问题:当 AI 在推理和方案设计上远超人类时,用户会不自觉地采纳 AI 的建议框架,最终看似拥有决策权的人类实际上被 AI 反向引导。
对 AI 智能体的人工批准并不等于授权:将批准与具体载荷绑定
分析了人类对 AI 代理的审批为何可能实际授权了与人类所见不同的操作,并提出在执行时对关键字段重新计算摘要进行比对、以单次条件更新消费授权的解决方案。
是只有我这么觉得,还是构建 AI 智能体比大家说的要难?
作者分享了实际构建 AI 代理的经验,指出真实落地远比线上演示复杂:集成现有软件、处理杂乱数据、维护成本和人工复核才是主要难点,并建议从小任务逐步自动化。