@GergelyOrosz: 试图弄清楚,在上下文窗口中使用更多上下文(我称之为上下文深度),在更长的运行中,错误会如何累积/代理会如何漂移……
摘要
Gergely Orosz 指出,在AI代理的上下文窗口中使用更多上下文进行更长的运行会增加错误和漂移,建议使用更短的运行和更少的上下文以提高可靠性。
试图弄清楚,在上下文窗口中使用更多上下文(我称之为上下文深度),在更长的运行中,错误会如何累积/代理会如何漂移。
即,如果你想要更高的可靠性,就使用更少的上下文并缩短运行。
快速草图:https://t.co/eqFDb5JcvM
查看缓存全文
缓存时间: 2026/07/14 14:27
尝试归纳一下:在更长的运行中,上下文窗口里使用的上下文越多(我称之为上下文深度),错误就越容易累积,或者说代理就越容易偏离方向。
也就是说,如果想要更高的可靠性,就使用更少的上下文,并缩短运行长度。
快速草图:https://t.co/eqFDb5JcvM
相似文章
更大的上下文窗口对智能体来说其实是错误的方向吗?
作者质疑将注意力集中在扩大AI智能体的上下文窗口上是否适得其反,认为积累的垃圾信息会拖慢长时间会话,并建议保持工作上下文小巧、使用外部记忆。
连续运行六小时后,你的上下文窗口究竟会发生什么
一位实践者分享了AI代理连续运行6小时以上时,上下文窗口管理策略(摘要、RAG、截断)的真实失败模式,指出每种方法都会以仅在长时间运行时才会显现的方式降低决策质量。
上下文至关重要,但上下文腐烂才是AI智能体的真正上限,更大的上下文窗口只会让情况更糟而非更好
文章认为,上下文腐烂(即随着上下文填充导致推理质量下降)是AI智能体的真正上限,而非上下文窗口大小。它提倡采用架构方法分解任务并使用独立验证来超越限制。
有没有人发现对于AI代理来说,上下文比模型大小更重要?
作者分享了构建AI代理的经验,发现提供清晰的上下文和指导(定义任务、规则和工具)比模型大小更能减少错误并提升性能。
@GergelyOrosz: 我开始意识到理解上下文大小、上下文退化、上下文压缩等行为的重要性……
Gergely Orosz 强调了理解 AI 模型中的上下文大小、退化和压缩的重要性,以解释为什么模型会忘记大型输入中的部分内容。