我们将智能体的上下文窗口减半,效果反而更好了。有点出乎意料
摘要
一位开发者分享,将智能体的上下文窗口减少一半意外地提升了其在客户资格筛选和CRM自动化方面的表现,暗示过多的上下文可能掩盖糟糕的架构并导致决策犹豫不决。
一直在为一个客户资格筛选+CRM自动化的智能体工作流进行调优,其中一个帮助远超预期的改动是将可用上下文几乎减半。我原以为更多上下文意味着更好的决策。更多转录记录、更多笔记、更多工具输出、更多一切。实际上,我感觉智能体变得奇怪地优柔寡断,有点过于倾向于引用过时信息,有时甚至因为眼前信息太多而忽略了显而易见的重点。
# 变化是什么
一旦我们强制系统使用更紧密的近期状态切片,它的工具使用变得更加简洁,回复也更简洁。更少的绕路,更少的虚假自信,更好的**客户资格筛选**电话,以及更好的**CRM自动化**更新。令人惊讶的不仅仅是延迟或成本,而是行为。智能体似乎更愿意请求下一个相关的工具结果,而不是假装答案已经埋藏在某个巨大的提示词中。
# 我目前的猜测
我认为给智能体巨大的上下文窗口可能掩盖糟糕的架构。如果智能体有弱的检索、混乱的记忆或不清晰的工具路由,向上下文中塞入更多内容在某种程度上掩盖了问题,直到问题爆发。更小的上下文使得失败模式更容易显现:
* 过时的记忆影响更大了
* 糟糕的摘要很快暴露
* 工具描述必须更清晰
* 多智能体交接不再那么马虎
现在我有点认为上下文预算应该被视为一种能够改进设计的约束,而不是仅仅一个可以最大化然后忘记的数字。好奇其他构建**AI智能体**、**工作流自动化**或**多智能体系统**的人是否也看到了同样的情况:较少的上下文有时会让智能体更诚实?
相似文章
更大的上下文窗口对智能体来说其实是错误的方向吗?
作者质疑将注意力集中在扩大AI智能体的上下文窗口上是否适得其反,认为积累的垃圾信息会拖慢长时间会话,并建议保持工作上下文小巧、使用外部记忆。
@GergelyOrosz: 试图弄清楚,在上下文窗口中使用更多上下文(我称之为上下文深度),在更长的运行中,错误会如何累积/代理会如何漂移……
Gergely Orosz 指出,在AI代理的上下文窗口中使用更多上下文进行更长的运行会增加错误和漂移,建议使用更短的运行和更少的上下文以提高可靠性。
将AI代理的上下文削减66%,每年节省4000美元以上
一种新工具或技术承诺将AI代理的上下文使用量减少66%,每年可为用户节省超过4000美元的AI成本。
连续运行六小时后,你的上下文窗口究竟会发生什么
一位实践者分享了AI代理连续运行6小时以上时,上下文窗口管理策略(摘要、RAG、截断)的真实失败模式,指出每种方法都会以仅在长时间运行时才会显现的方式降低决策质量。
更少上下文,更智能代理:面向长周期工具使用的LLM代理的高效上下文工程
本文评估了企业工具使用工作流中LLM代理的上下文工程配置,表明选择性修剪的摘要化相比全上下文基线实现了91.6%的准确率,同时将令牌使用量减少了60%以上。