@lateinteraction: 智能体通常将部分上下文外部化:在编码智能体中的仓库,在RAG中的语料库,以及在RLM中的用户提示。N…
摘要
Joshua Gu的新研究表明,AI智能体在管理其上下文窗口中的一个小缓冲区作为外部上下文的缓存时表现更好,这挑战了将上下文完全推出提示符的常见做法。
查看缓存全文
缓存时间: 2026/05/21 10:14
Agents 常将部分上下文外化:编码 agent 中的仓库、RAG 中的语料库以及 RLM 中的用户提示。
@astrogu_ 的新研究表明,如果允许 agents 在其上下文窗口中管理一个小型缓冲区,作为外部上下文的“缓存”,它们会表现得更出色。
Joshua Gu (@astrogu_): 最近的 agent 系统(Claude Code、Codex、RLM 等)将上下文从提示中推入环境(例如,文件形式)。这有助于它们保持对自身目标和功能的长期认知。
🚨 虽然这是个好主意,但我们展示了一个令人惊讶的结果:系统
相似文章
@astrogu_: 最近的智能体系统(Claude Code、Codex、RLM 等)将上下文从提示中推入环境(例如,一个……
PEEK 引入了一种上下文地图作为面向 LLM 智能体的方向缓存,使它们能够对外部环境(如代码仓库)保持持久的知识。该系统相比 RAG 和 ACE 等基线方法,在更低成本下实现了 6.3–34.0% 的质量提升。
在生产环境中的智能体中,人们如何处理上下文压缩与提示缓存之间的权衡?
本文探讨了生产环境AI智能体中上下文压缩与提示缓存之间的权衡,提出使用子代理作为策略,以保持缓存效率并减少上下文污染。
我们如何通过将稳定上下文移出提示词来使AI代理更快
描述了一种通过将稳定上下文移出提示词来提高AI代理速度的技术,从而减少令牌使用量和延迟。
@rohanpaul_ai:长期运行的智能体并不只是需要更大的上下文窗口。关键在于它们需要学会判断哪些信息值得保留在上下文中……
ContextPilot通过细粒度强化学习,教会AI代理主动管理上下文,通过专注于需要保留的信息,提升了长上下文基准测试的表现。
更大的上下文窗口对智能体来说其实是错误的方向吗?
作者质疑将注意力集中在扩大AI智能体的上下文窗口上是否适得其反,认为积累的垃圾信息会拖慢长时间会话,并建议保持工作上下文小巧、使用外部记忆。