我的AI代理在不同会话间不断丢失自身状态，因此我选择重建工具链而非更换模型

Reddit r/AI_Agents 工具
ai-agents reliability harness versioning context-tracking developer-tools

摘要

作者发现AI代理的可靠性问题源于工具链而非模型，通过分离上下文跟踪、加载和输出检查来改进，同时致力于版本控制以管理跨项目的代码。

今年大部分时间我都认为换一个更好的模型能解决我看到的可靠性问题。这是错误的假设。我的代理会重复已经完成的步骤，或者在没有记住上一个会话已经进行到一半的情况下重新开始任务。更换模型没有任何改变，因为问题从来都不在模型本身。关键在于其下的三个方面：跟踪已完成事项的组件、在首次行动前加载上下文的组件，以及在允许进入下一步前检查输出的组件。一旦我将这些拆分为独立的组件，而不是让代理在一个上下文窗口中处理所有内容，不稳定性大大降低。检查部分最为关键。让生成答案的同一上下文也对其进行评估，意味着一个自信的错误答案每次都会顺利通过。我仍在处理的部分是这个逻辑的版本控制。我在三个代码库中有三个略有不同的状态跟踪器副本，修复其中一个的错误意味着要记得手动去修复其他两个。首先尝试了一个私有的npm包，虽然有效，但增加了一个我总是忘记运行的发布步骤。目前正在测试一种设置，其中工具链组件位于共享范围内，并作为版本化组件引入每个项目，这样一处的修复可以自动传播，无需我手动同步文件。这感觉更接近我对待基础设施的方式，但我只运行了几个星期，所以还没有定论它是否能大规模保持稳定。其他人在这里是怎么做的？你们是将工具链逻辑打包为真正的依赖，还是复制粘贴，或者复制粘贴在大多数项目中仍然是常态？
查看原文

相似文章

同一模型，不同运行框架：编码智能体的差异化表现

arXiv cs.AI

本研究探讨了在模型固定不变的情况下，改变编码智能体中的运行框架配置如何影响其在代码基准测试上的表现。研究结果表明，一种能自动缩短早期工具输出以管理上下文的“优化框架”，可提升任务完成率，尤其在上下文长度受限的场景下效果显著。