每个人都关注他们的智能体是否完成任务，但几乎没人问它是否在随着时间的推移变得更好

最近我一直在思考这个问题，我觉得我们大多数人都有一个盲点。关于智能体是否完成任务，大家讨论得很多：是否完成了运行，是否达到了目标，输出看起来是否正确。是的，这些东西显然很重要。但感觉我们集体认定这就是全部问题，然后就……继续往前走了。几乎没有人问的是：智能体在第500次运行时是否比第5次运行时更好？因为如果在两次运行之间没有任何信息被捕获——什么出错了，什么有效，什么一直在同一个地方失败——那么你运行的就不是一个会学习的系统。你只是在循环运行同一个系统。任何改进都来自于你手动修补，而不是智能体自身对自己失败模式的智能提升。完成率看起来不错，智能体在“工作”。但它工作得和第一天一样好。而且除非有人每次都手动干预，否则它会一直保持那样。我觉得人们没有意识到这种情况有多普遍。我见过的大多数生产环境中的智能体设置，对任务是否完成都有不错的可见性。但几乎没有一个系统能以结构化方式将失败模式反馈到未来的运行中。比如，监控告诉你哪里出了问题，很好。但知道哪里出了问题，并真正利用这些信息让下一次运行受益？这完全是另一个问题。我还没看到多少团队真正解决了这个问题。