我开始认为可恢复性是自主代理的真正考验
摘要
作者认为可恢复性是自主AI代理的真正考验,强调了任务持久性和健壮恢复机制的必要性,以确保真正的自主性。
我一直在尝试运行一个日益自主的AI系统进行实际工作,有一类问题总是比我们预期花费更多时间:工作并不总是以明显方式失败。有时它只是在状态之间消失了。我们实际遇到的一些例子:一个任务在未正确注册到监视器之前就被分派,所以监控系统根本不知道它的存在。另一个任务在本地完成了工作,但持久化结果从未返回到远程仓库。我们遇到过中断,其中困难的问题不是“代理能完成任务吗?”而是“具体完成了什么,验证了什么,以及我们可以在哪里安全地恢复而不需要重复工作?”重试也会带来自己的问题:只有当重复操作不会创建重复的分支、消息、写入或其他副作用时,恢复才有用。所以我们不断在代理周围添加东西:- 分派前注册 - 持久化的任务ID和状态 - 明确的终止状态 - 有界的/幂等的重试 - 孤立工作的检测 - 重要操作后的读回 - 包含发生了什么和确切下一步安全操作的正确交接我不是软件工程师,所以我假设对于那些构建分布式系统多年的人来说,这些单独的想法都很普通。让我惊讶的是,一旦你试图让代理真正自主,这些想法变得多么核心。模型可能完全有能力完成工作,但整体系统仍然可能不可靠,因为控制层失去了对工作的跟踪。这改变了我对“自主性”的思考。我不再认为有用的问题仅仅是:“代理能在没有人类的情况下完成这个任务吗?”我认为更接近的是:“在任何中断、错误或部分完成后,系统能否可靠地告诉发生了什么、什么是有效的,并安全地继续或向人类提出一个精确的问题?”如果答案是否定的,我不确定我会称这个系统为自主的。我会称它为无人值守的。对于那些在生产中实际运行代理系统的人来说:在称代理为自主之前,你要求的最低恢复协议是什么?
相似文章
AI代理最棘手的部分似乎是恢复,而不是任务理解?
文章讨论的是,AI代理在真实工作流程中的主要挑战并非理解任务,而是处理意外变化的恢复、状态跟踪以及知道何时需要人工输入。
可恢复性作为长期AI代理的系统原语
介绍了可恢复性作为长期AI代理的系统原语,强调基于证据的恢复决策,以在任务中断时保持合理的进展。
我最近一直在为企业开发 AI Agent,我认为大多数人高估了自主性,却低估了可靠性。
作者认为,在企业级 AI Agent 开发中,运行的可靠性和稳定性比高度自主性更为关键,倡导受控智能而非完全自主的系统。
我现在对自主智能体的关注减少了,更关注的是我能否信任它们
作者认为,AI智能体真正的挑战不在于能力,而在于可信度,强调对智能体工具进行审计、沙箱隔离、权限管理和安全性。
AI代理的真正瓶颈或许在于证明身份
文章指出,智能不再是AI代理的主要瓶颈;相反,在自主操作获得信任之前,证明代理的身份、权限和问责制才是关键挑战。