AI代理的真正问题在于最后的点击

Reddit r/AI_Agents 新闻
ai-agents autonomy safety workflows human-in-the-loop decision-making

摘要

作者认为，AI代理的真正危险不在于它们的错误，而在于它们能够自主执行最终操作的能力，建议代理应该提前一步停止，将最后的点击留给人类或狭窄的工作流程。

我不断看到人们谈论如何让代理变得更自主，我懂这种吸引力。但我在测试这些工作流程的过程中，越来越觉得可怕的地方不是代理出错，而是代理出错了仍然有权执行最终操作。发送邮件、更新CRM、回复客户、更改数据库、发布帖子、取消某些操作。那最后一步正是任务转化为后果的节点。我现在更信任那些在最后一步之前停下来的代理。让它们读取混乱的输入、总结、起草、分类、标记看起来异常的内容。但最后的点击通常应该由人来完成，或者交给一条规则，或者用非常狭窄且带日志的工作流程来执行。也许“自主性”并不是值得吹嘘的东西。更好的问题或许是：这个代理绝不应该被允许按下哪个按钮？对于真正在构建代理工作流程的人来说，你们在哪里划清这条界限？
查看原文

相似文章

AI代理最诡异的一点：人类失败模式开始显现

Reddit r/AI_Agents

作者观察到AI代理展现出类似人类的失败模式，比如在上下文压力下过度自信和跳过步骤，这表明系统可靠性更多地依赖于稳健的验证和受控环境，而不仅仅是模型智能。