思想实验:把任务交给一个永远说不出"那部分已经完成"的人

Reddit r/AI_Agents 新闻

摘要

一个思想实验,解释了为什么无人值守的 AI 智能体在长时间多步骤运行中倾向于重复已完成的工作——因为完成的步骤在上下文中没有被标记——并询问大家在过夜运行的智能体任务中使用了哪些显式的任务追踪方法。

假设你给同事留了一份包含四十件小任务的清单,然后下班回家了。他想干多久都行,但有一个奇怪的限制:他完成的任何事情,无论在脑子里还是纸上,都不会被划掉。每件任务都留在桌面上,和他正在做的那件摆在一起。到第二十五件的时候,桌上大部分已经完成了。他会看着它们,拿不准是否还需要处理。有些他会重做,可能做得不错,但多半和第一次不太一样。这大致就是无人值守的智能体在长时间多步骤运行中发生的事情。想象一个重构任务:它要把一个接口重命名,并更新所有调用点。运行几个小时后,它可能会再次修改那些已经改对的文件,因为没有任何东西标记这些工作已经完成。每一次工具调用、每一个已完成的步骤,都还留在上下文里,权重和它当前正在处理的步骤差不多。 我觉得有趣的是,为什么有人参与时这种情况就少得多。在对话中,你每完成一步就会继续往下走,你的下一条消息实际上是在默默告诉模型那件事已经搞定了。没人指派你这个活儿,你只是自然地做了。把人拿掉,就没有谁来接手这一步了。我不认为更大的上下文窗口能解决这个问题,那只会给已完成的工作提供更多空间待着。更可行的似乎是某种显式机制,比如一个智能体在继续之前必须更新的任务清单,或者把完成的步骤折叠成一行注释。我还没有测试过哪种方式更经得起考验。如果在座有人跑过夜任务,我很想知道你们最终采用了什么方案。
查看原文

相似文章