我开始认为可恢复性是自主代理的真正考验

Reddit r/AI_Agents 新闻

摘要

作者认为可恢复性是自主AI代理的真正考验,强调了任务持久性和健壮恢复机制的必要性,以确保真正的自主性。

我一直在尝试运行一个日益自主的AI系统进行实际工作,有一类问题总是比我们预期花费更多时间:工作并不总是以明显方式失败。有时它只是在状态之间消失了。我们实际遇到的一些例子:一个任务在未正确注册到监视器之前就被分派,所以监控系统根本不知道它的存在。另一个任务在本地完成了工作,但持久化结果从未返回到远程仓库。我们遇到过中断,其中困难的问题不是“代理能完成任务吗?”而是“具体完成了什么,验证了什么,以及我们可以在哪里安全地恢复而不需要重复工作?”重试也会带来自己的问题:只有当重复操作不会创建重复的分支、消息、写入或其他副作用时,恢复才有用。所以我们不断在代理周围添加东西:- 分派前注册 - 持久化的任务ID和状态 - 明确的终止状态 - 有界的/幂等的重试 - 孤立工作的检测 - 重要操作后的读回 - 包含发生了什么和确切下一步安全操作的正确交接我不是软件工程师,所以我假设对于那些构建分布式系统多年的人来说,这些单独的想法都很普通。让我惊讶的是,一旦你试图让代理真正自主,这些想法变得多么核心。模型可能完全有能力完成工作,但整体系统仍然可能不可靠,因为控制层失去了对工作的跟踪。这改变了我对“自主性”的思考。我不再认为有用的问题仅仅是:“代理能在没有人类的情况下完成这个任务吗?”我认为更接近的是:“在任何中断、错误或部分完成后,系统能否可靠地告诉发生了什么、什么是有效的,并安全地继续或向人类提出一个精确的问题?”如果答案是否定的,我不确定我会称这个系统为自主的。我会称它为无人值守的。对于那些在生产中实际运行代理系统的人来说:在称代理为自主之前,你要求的最低恢复协议是什么?
查看原文

相似文章