思想实验:把任务交给一个永远说不出"那部分已经完成"的人
摘要
一个思想实验,解释了为什么无人值守的 AI 智能体在长时间多步骤运行中倾向于重复已完成的工作——因为完成的步骤在上下文中没有被标记——并询问大家在过夜运行的智能体任务中使用了哪些显式的任务追踪方法。
假设你给同事留了一份包含四十件小任务的清单,然后下班回家了。他想干多久都行,但有一个奇怪的限制:他完成的任何事情,无论在脑子里还是纸上,都不会被划掉。每件任务都留在桌面上,和他正在做的那件摆在一起。到第二十五件的时候,桌上大部分已经完成了。他会看着它们,拿不准是否还需要处理。有些他会重做,可能做得不错,但多半和第一次不太一样。这大致就是无人值守的智能体在长时间多步骤运行中发生的事情。想象一个重构任务:它要把一个接口重命名,并更新所有调用点。运行几个小时后,它可能会再次修改那些已经改对的文件,因为没有任何东西标记这些工作已经完成。每一次工具调用、每一个已完成的步骤,都还留在上下文里,权重和它当前正在处理的步骤差不多。
我觉得有趣的是,为什么有人参与时这种情况就少得多。在对话中,你每完成一步就会继续往下走,你的下一条消息实际上是在默默告诉模型那件事已经搞定了。没人指派你这个活儿,你只是自然地做了。把人拿掉,就没有谁来接手这一步了。我不认为更大的上下文窗口能解决这个问题,那只会给已完成的工作提供更多空间待着。更可行的似乎是某种显式机制,比如一个智能体在继续之前必须更新的任务清单,或者把完成的步骤折叠成一行注释。我还没有测试过哪种方式更经得起考验。如果在座有人跑过夜任务,我很想知道你们最终采用了什么方案。
相似文章
我一直在尝试自定义智能体,有趣的部分并非任务完成,而是它们拥有记忆后发生的变化
作者反思了实验自定义 AI 智能体的经历,指出长期记忆和连续性将智能体从简单的任务执行者转变为具有“稳定倾向”的持久协作伙伴。这引发了关于智能体“个性”的价值与工作流程中控制、可靠性和可审计性需求之间的矛盾的问题。
你使用什么机制来区分“智能体忙碌”和“任务完成”?
本文讨论了AI智能体系统中的一种反模式:智能体看似忙碌却未能完成任务。作者建议通过分离职责并要求完成证明来解决。
什么实际阻止了无人代理陷入循环、超支或在未完成时说'完成'?
这篇文章讨论了无人AI代理面临的常见挑战,如循环、超支和任务完成错误,并询问从业者如何处理生产环境中的验证、停滞检测和硬限制等问题。
【讨论】AI编程代理是否也过早声称“完成”?
关于AI编程代理过早声称完成、跳过检查以及进行混乱修改的讨论。作者正在测试一个带有规划和审查关卡的系统,以改进AI编码工作流程。
当用户在AI智能体任务运行中更改任务时,应该怎样处理?
本文探讨了AI智能体应如何处理执行过程中用户发起的任务变更,提出了诸如任务修订ID等解决方案,并讨论了避免过时或冲突操作的边界情况。