连续运行六小时后,你的上下文窗口究竟会发生什么
摘要
一位实践者分享了AI代理连续运行6小时以上时,上下文窗口管理策略(摘要、RAG、截断)的真实失败模式,指出每种方法都会以仅在长时间运行时才会显现的方式降低决策质量。
关于长时间运行的代理的上下文窗口管理,文档给出的答案是:对旧轮次进行摘要,使用 RAG 进行检索,以及从前截断。但实际上,这三种方法都有只在长时间运行后才会显现的失败模式。摘要压缩了模型能看到的内容,但代价是损失了隐式状态。连续运行到第六或第七个小时时,摘要对于发生的事件在事实上是准确的,但代理做出的决策,对于任何看到完整上下文的人来说都明显是错误的。事实还在,但判断上下文已不复存在。RAG 检索假设代理知道要检索什么。长时间运行的代理往往不知道它们所不知道的。失败模式不断重复:代理不再提出正确的问题,因为它缺乏上下文,不知道一开始应该存在那个问题。从前截断是最糟糕的默认做法。你会失去任务框架,代理开始针对最近的信号进行优化,而不再受原始约束。对于你们的代理运行超过四五个小时的情况,有哪些实现是有效的?
相似文章
我们将智能体的上下文窗口减半,效果反而更好了。有点出乎意料
一位开发者分享,将智能体的上下文窗口减少一半意外地提升了其在客户资格筛选和CRM自动化方面的表现,暗示过多的上下文可能掩盖糟糕的架构并导致决策犹豫不决。
如何让代理运行数小时,以及哪些架构真正对代理友好?#深度探讨 #氛围程序员问题
作者探讨了AI编码代理的两个关键挑战:确保长时间自主执行(数小时)以及为本地应用设计对代理友好的架构。他们提出在规划和执行之前,增加一个显式的知识组织阶段来管理混乱的上下文。
我在尝试为不同会话中的不同代理确保上下文连续性中学到的东西
作者介绍了 AICTX,一个开源工具,它能在编码代理会话之间保留结构化的操作状态,从而减少代理每次重新发现仓库上下文的需求。
我为代码智能体构建了一个上下文窗口优化框架——开源 + 论文
作者介绍了“Apohara Context Forge”,这是一个开源框架及方法论,旨在通过角色感知分割和分层相关性评分来优化代码智能体的上下文窗口。
AI 智能体运行时间越长,你花费在管理其记忆上的时间就越超过实际使用它的时间。
本文重点讨论了随时间推移管理 AI 智能体记忆时日益严重的问题:用户花费更多精力维护上下文,而非实际使用智能体。文章指出,目前缺乏用于记忆衰减和治理的基础设施。