我们将智能体的上下文窗口减半,效果反而更好了。有点出乎意料
摘要
一位开发者分享,将智能体的上下文窗口减少一半意外地提升了其在客户资格筛选和CRM自动化方面的表现,暗示过多的上下文可能掩盖糟糕的架构并导致决策犹豫不决。
一直在为一个客户资格筛选+CRM自动化的智能体工作流进行调优,其中一个帮助远超预期的改动是将可用上下文几乎减半。我原以为更多上下文意味着更好的决策。更多转录记录、更多笔记、更多工具输出、更多一切。实际上,我感觉智能体变得奇怪地优柔寡断,有点过于倾向于引用过时信息,有时甚至因为眼前信息太多而忽略了显而易见的重点。
# 变化是什么
一旦我们强制系统使用更紧密的近期状态切片,它的工具使用变得更加简洁,回复也更简洁。更少的绕路,更少的虚假自信,更好的**客户资格筛选**电话,以及更好的**CRM自动化**更新。令人惊讶的不仅仅是延迟或成本,而是行为。智能体似乎更愿意请求下一个相关的工具结果,而不是假装答案已经埋藏在某个巨大的提示词中。
# 我目前的猜测
我认为给智能体巨大的上下文窗口可能掩盖糟糕的架构。如果智能体有弱的检索、混乱的记忆或不清晰的工具路由,向上下文中塞入更多内容在某种程度上掩盖了问题,直到问题爆发。更小的上下文使得失败模式更容易显现:
* 过时的记忆影响更大了
* 糟糕的摘要很快暴露
* 工具描述必须更清晰
* 多智能体交接不再那么马虎
现在我有点认为上下文预算应该被视为一种能够改进设计的约束,而不是仅仅一个可以最大化然后忘记的数字。好奇其他构建**AI智能体**、**工作流自动化**或**多智能体系统**的人是否也看到了同样的情况:较少的上下文有时会让智能体更诚实?
相似文章
连续运行六小时后,你的上下文窗口究竟会发生什么
一位实践者分享了AI代理连续运行6小时以上时,上下文窗口管理策略(摘要、RAG、截断)的真实失败模式,指出每种方法都会以仅在长时间运行时才会显现的方式降低决策质量。
我为代码智能体构建了一个上下文窗口优化框架——开源 + 论文
作者介绍了“Apohara Context Forge”,这是一个开源框架及方法论,旨在通过角色感知分割和分层相关性评分来优化代码智能体的上下文窗口。
@lateinteraction: 智能体通常将部分上下文外部化:在编码智能体中的仓库,在RAG中的语料库,以及在RLM中的用户提示。N…
Joshua Gu的新研究表明,AI智能体在管理其上下文窗口中的一个小缓冲区作为外部上下文的缓存时表现更好,这挑战了将上下文完全推出提示符的常见做法。
更大的上下文窗口似乎在解决与理解不同的问题
Repowise 是一个开源工具,它将代码库索引为五个智能层——依赖图、Git 历史、自动生成的文档、架构决策和代码健康——并通过 MCP 工具将这些信息暴露给 AI 编码代理,以提供更准确的上下文并减少工具调用次数。
客户的代理上下文分布在9个以上的工具中,存在数千个冲突,是否有办法以非手动工作流程处理这种情况?
一位开发者描述了在业务上下文分散于多个工具且定义冲突的环境中部署AI代理的挑战,并向社区寻求超越手动协调的解决方案。