目前 AI 智能体最大的谎言在于:更高的自主性自动意味着更高的价值
摘要
文章认为,AI 智能体的高自主性会增加错误发生的成本,因此主张采用受约束的、可靠的智能体,将安全性和可预测性置于无限制的能力之上。
事实上,我认为恰恰相反,哈哈。智能体越自主,每一次错误的成本就越高。当智能体仅仅是生成文本时,糟糕的输出只是令人烦恼;但当智能体开始:
* 发送电子邮件
* 编辑记录
* 触碰客户数据
* 操作浏览器
* 触发工作流
这时,小错误突然就变成了运营问题。我不断注意到的是,人们往往在优化:“看我的智能体能做多少事”,而不是:“它能多安全地失败”。在生产环境中,第二个问题重要得多。
我见过的一些最佳系统几乎没有任何“自主性”。它们:
* 请求确认
* 在不确定时停止
* 在行动前进行验证
* 上报边缘情况
* 保持在非常狭窄的边界内
无聊吗?是的。实际上有用吗?有用得多。我在基于浏览器的自动化过程中通过艰难的方式学到了这一点。演示看起来很棒,直到现实世界的随机性出现为止。部分页面加载、过期的会话、微小的 UI 变化。智能体并不愚蠢,环境是不稳定的。
一旦我不再追求更多的自主性,而是专注于使执行变得可预测,情况很快就改善了。转向更受控的浏览器设置,尝试了 hyperbrowser,突然之间,更简单的智能体开始优于“更聪明”的智能体。开始认为未来不是完全自主的智能体,而是在设计良好的系统内运行的高度受限的智能体。
好奇其他人是否也感受到了这种转变,或者我是否变得过于愤世嫉俗了,哈哈
相似文章
我最近一直在为企业开发 AI Agent,我认为大多数人高估了自主性,却低估了可靠性。
作者认为,在企业级 AI Agent 开发中,运行的可靠性和稳定性比高度自主性更为关键,倡导受控智能而非完全自主的系统。
AI代理不仅仅需要更多的自主性,更需要关于何时停止的更好判断。
本文认为,AI代理需要更好的判断力来决定何时避免行动,特别是在数据不完整或结果不可逆的情况下。同时,受控的自主性对公司来说更值得信赖。
AI代理可能需要更少的自由,而非更多。
文章认为,AI代理的关键问题不在于能力,而在于行动范围,建议根据风险建立分级权限系统,而非从一开始就完全自主。
更智能的AI代理并不意味着更好的AI代理
文章认为,提高AI代理的能力并不会自然而然地提升其可靠性,强调需要建立类似会计标准的稳健控制系统、审计和人类监督,以防止令人信服的失败。
目前正在构建的大多数AI代理都完全搞错了问题
一种观点认为,当前对AI代理自主性的关注是错误的;真正的瓶颈在于信任和缺乏人类可见性。下一个飞跃将来自更好的人机协作设计,而不是更智能的模型。