近期的代理系统（Claude Code、Codex、RLM 等）将上下文从提示中转移到了外部环境（例如，作为文件）。这有助于它们长期维护关于自身目标和功能的知识。

尽管这是个好主意，但我们展示了一个令人惊讶的结果：使用此类外部环境的系统，在拥有一个小型、固定大小、上下文内、由代理管理的缓存（用于“窥视”这些环境）时，性能会好得多。

我们的论文《PEEK：一种为 LLM 代理构建和维护方向缓存的系统》介绍了这一概念。

与包括 RAG、压缩代理以及最先进的提示学习框架在内的强大基线相比，PEEK 在成本-质量帕累托前沿上占据主导地位：在更少的迭代次数和更低的成本下，实现了 6.3–34.0% 的质量提升。

论文：https://arxiv.org/abs/2605.19932
GitHub：https://github.com/zhuohangu/peek

详情见下方帖子！(1/N)

PEEK：上下文地图作为长上下文 LLM 代理的方向缓存

来源：https://arxiv.org/abs/2605.19932
查看 PDF (https://arxiv.org/pdf/2605.19932)

摘要：大型语言模型（LLM）代理越来越多地运行在长且重复的外部上下文之上，例如文档语料库和代码仓库。在多次调用之间，现有方法要么保留代理的轨迹、对原始材料的被动访问，要么保留任务级策略。它们都没有保留我们认为在重复的相同上下文工作负载中最需要的东西：关于重复上下文本身的可复用方向知识（例如，上下文包含什么、如何组织，以及哪些实体、常量和模式在历史上被证明有用）。我们引入了 PEEK，一个将这些方向知识缓存并维护为上下文地图的系统：该地图是代理提示中一个小的、恒定大小的工件，为其提供对上下文的持久窥视。该地图由一个可编程的缓存策略维护，包含三个模块：一个提取器，从推理时的信号中提取可转移知识；一个制图师，将其转化为结构化编辑；以及一个基于优先级的驱逐器，强制执行固定的 token 预算。在长上下文推理和信息聚合任务中，PEEK 相较于强基线提升了 6.3-34.0%，同时使用的迭代次数减少 93-145 次，成本仅为最先进的提示学习框架 ACE 的 1/1.7 至 1/5.8。在上下文学习任务中，PEEK 的解决率和评分准确性分别提高了 6.0-14.0% 和 7.8-12.1%，成本仅为 ACE 的 1/1.4。这些改进广泛适用于不同的语言模型和代理架构，包括生产级编码代理 OpenAI Codex。综合这些结果，表明上下文地图有助于长上下文 LLM 代理更准确、更高效地与重复的外部上下文交互。

提交历史

来自：Zhuohan Gu [查看邮件 (https://arxiv.org/show-email/c827d7ba/2605.19932)]
[v1] 2026年5月19日 星期二 14:51:32 UTC (2,028 KB)