目前 AI 智能体最大的谎言在于:更高的自主性自动意味着更高的价值

Reddit r/AI_Agents 新闻

摘要

文章认为,AI 智能体的高自主性会增加错误发生的成本,因此主张采用受约束的、可靠的智能体,将安全性和可预测性置于无限制的能力之上。

事实上,我认为恰恰相反,哈哈。智能体越自主,每一次错误的成本就越高。当智能体仅仅是生成文本时,糟糕的输出只是令人烦恼;但当智能体开始: * 发送电子邮件 * 编辑记录 * 触碰客户数据 * 操作浏览器 * 触发工作流 这时,小错误突然就变成了运营问题。我不断注意到的是,人们往往在优化:“看我的智能体能做多少事”,而不是:“它能多安全地失败”。在生产环境中,第二个问题重要得多。 我见过的一些最佳系统几乎没有任何“自主性”。它们: * 请求确认 * 在不确定时停止 * 在行动前进行验证 * 上报边缘情况 * 保持在非常狭窄的边界内 无聊吗?是的。实际上有用吗?有用得多。我在基于浏览器的自动化过程中通过艰难的方式学到了这一点。演示看起来很棒,直到现实世界的随机性出现为止。部分页面加载、过期的会话、微小的 UI 变化。智能体并不愚蠢,环境是不稳定的。 一旦我不再追求更多的自主性,而是专注于使执行变得可预测,情况很快就改善了。转向更受控的浏览器设置,尝试了 hyperbrowser,突然之间,更简单的智能体开始优于“更聪明”的智能体。开始认为未来不是完全自主的智能体,而是在设计良好的系统内运行的高度受限的智能体。 好奇其他人是否也感受到了这种转变,或者我是否变得过于愤世嫉俗了,哈哈
查看原文

相似文章

更智能的AI代理并不意味着更好的AI代理

Reddit r/AI_Agents

文章认为,提高AI代理的能力并不会自然而然地提升其可靠性,强调需要建立类似会计标准的稳健控制系统、审计和人类监督,以防止令人信服的失败。