面向AI智能体的长上下文窗口可寻址召回压缩

# 面向 AI 智能体的可寻址召回压缩实现长上下文窗口控制
来源：https://arxiv.org/html/2607.25066

TableResults (https://arxiv.org/html/2607.25066#Sx6) 显示，ARC 在提升检索质量的同时也提高了效率。在 Qwen3-8B 上，ARC 将成功检索次数提升至 991，同时将总推理时间从 6.47 秒（'RAG\_memory'）降至 1.26 秒，并削减了 80.3% 的 HBM 流量。在 Qwen3-32B 上，ARC 再次取得了最高的成功次数（999）、最低的延迟（0.55 秒）以及最低的带宽使用（1.59 TB）。这些结果表明，ARC 在不牺牲延迟与带宽的前提下提升了准确性。总体而言，这些结果证明 ARC 同时提升了检索效果与计算效率。与那些常在延迟和准确性之间进行权衡的现有内存管理方法不同，ARC 在显著降低解码成本与 HBM 带宽需求的同时，实现了近乎完美的检索性能，使其非常适合高效的长上下文推理。

## 讨论与局限性

##### LongBench-v2 上的优势为何收窄。
"大海捞针"任务隔离了逐字召回——这正是 ARC 的目标——而 LongBench-v2 的困难任务还要求跨长文档综合信息，因此完美的召回仍可能因错误推理而给出错误答案。在 LongBench-v2 上（Table1 (https://arxiv.org/html/2607.25066#Sx5.T1)），ARC 在两个模型规模下均领先所有基线（Qwen3-8B 上为 27.47%，Qwen3-32B 上为 32.47%），但相对于最接近的竞争对手（8B 上的 LLM\_summary，32B 上的 sliding\_window），优势缩小至 1.6–2.3 个百分点，而相对于较弱基线则有 4–7.5 个百分点的优势。因此，ARC 的优势更适合被解释为 LongBench 失败率中可归因于召回问题的一个下界，这从 ARC 显著更低的无回答率（311 个问题中分别为 16.33 和 7.33，而所有基线均在 23–74 之间）可得到进一步印证——而非 ARC 收益的全部上限。

##### 统计显著性。
每次试验的 McNemar 检验（TablesResults (https://arxiv.org/html/2607.25066#Sx6), Results (https://arxiv.org/html/2607.25066#Sx6)）确认，在两个基准测试和两个模型规模下，ARC 均显著优于所有基线（p<0.05）。与 'Full\_context' 相比，ARC 在 8B 和 32B 的所有 933 次配对试验中均获胜，基线无一获胜。相对于其余基线，b\_only 计数（基线成功而 ARC 失败）相对于 a\_only 仍然很小——8B 上为 37–42/933，32B 上为 19–21/933——使得优势比在 2.2 到 10.5 之间，有利于 ARC；效果最强的是 32B 上的 'LLM\_summary'（优势比 10.48），最弱但仍显著的是 'Sliding\_window' 和 'Structured\_state'，后两者的整体准确率与 ARC 更接近，这反映了在某些个别任务上，推理错误而非召回失败有时会使基线结果优于 ARC。

##### 范围与开销。
所有实验均使用 Qwen3 模型系列；对其他分词器、推理风格或针对 `_recall` 约定的指令遵循行为的泛化仍有待探索。每个 ARC 引用（头部预览、尾部预览、召回提示）相对于直接丢弃观测也会增加少量固定的 token 开销；量化此开销及其对有效上下文预算的影响在补充文档中报告。

## 结论

有损压缩是在上下文窗口存活与可能丢失智能体未来恰好需要的关键事实之间进行权衡，而每一项主流压缩策略都做出了这种权衡。ARC 表明这种权衡并非必要：通过将智能体所见一切的只追加、内容寻址存储与一个大小有限、带有引用注释的视图相分离，压缩变得可逆，同时又不牺牲最初使截断具有吸引力的固定大小保证。在两个代表不同模型规模的配置（Qwen3-8B/32B，均设有 4,096 token 生成上限）上，这在一个专门用于隔离召回失败的基准测试中几乎完全弥合了恢复差距（99.40% vs. 最佳先前方法的 88.12%），并在一个同时要求推理的基准测试中取得了较小但一致的收益（29.97% vs. 28.25%）。主要的开放问题包括：量化 ARC 自身的 token 开销、测试其超出 Qwen3 系列的泛化能力、将评估扩展到模型/上下文窗口/最大 token 网格的其他点，以及理解为何隐式检索在对话历史类任务中仍然胜出——这表明显式召回与隐式召回是互补而非竞争的机制。

## 参考文献

- Austin et al. (2025) Austin, J.; Douglas, S.; Frostig, R.; Levskaya, A.; Chen, C.; Vikram, S.; Lebron, F.; Choy, P.; Ramasesh, V.; Webson, A.; and Pope, R. 2025. How to Scale Your Model. Retrieved from https://jax-ml.github.io/scaling-book/.
- Bai et al. (2025) Bai, Y.; Tu, S.; Zhang, J.; Peng, H.; Wang, X.; Lv, X.; Cao, S.; Xu, J.; Hou, L.; Dong, Y.; et al. 2025. Longbench v2: Towards deeper understanding and reasoning on realistic long-context multitasks. In *Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)*, 3639–3664.
- Ding et al. (2026) Ding, X.; Sun, R.; Zhang, Y.; Yan, X.; Zhou, Y.; Huang, K.; Fu, S.; Aviles-Rivero, A. I.; Xie, C.; and Zhu, Y. 2026. Sliding-Window Merging for Compacting Patch-Redundant Layers in LLMs. In *Proceedings of the AAAI Conference on Artificial Intelligence*, volume 40, 20826–20834.
- Durante et al. (2024) Durante, Z.; Huang, Q.; Wake, N.; Gong, R.; Park, J. S.; Sarkar, B.; Taori, R.; Noda, Y.; Terzopoulos, D.; Choi, Y.; et al. 2024. Agent ai: Surveying the horizons of multimodal interaction. *arXiv preprint arXiv:2401.03568*.
- Erdogan et al. (2025) Erdogan, L. E.; Lee, N.; Kim, S.; Moon, S.; Furuta, H.; Anumanchipalli, G.; Keutzer, K.; and Gholami, A. 2025. Plan-and-act: Improving planning of agents for long-horizon tasks. *arXiv preprint arXiv:2503.09572*.
- Fu et al. (2026) Fu, J.; Chen, J.; Wang, M.; He, A.; Sheng, M.; Ke, X.; Zhu, Y.; and Gao, Y. 2026. VikingMem: A Memory Base Management System for Stateful LLM-based Applications. *arXiv preprint arXiv:2605.29640*.
- Gao et al. (2026) Gao, Y.; Xiong, Y.; Wu, W.; Li, B.; Zhong, Y.; and Wang, H. 2026. U-niah: Unified rag and llm evaluation for long context needle-in-a-haystack. *ACM Transactions on Information Systems*, 44(3): 1–30.
- Ichikawa et al. (2026) Ichikawa, Y.; Kimura, K.; Yoshida, A.; Fujimoto, Y.; Tokura, H.; Arai, Y.; Ishii, Y.; Kawakami, Y.; Shikada, G.; Jacquemond, A.; et al. 2026. OneComp: One-Line Revolution for Generative AI Model Compression. *arXiv preprint arXiv:2603.28845*.
- Kamradt (2023) Kamradt, G. 2023. Needle In A Haystack: Pressure-testing LLM Long-Context Retrieval. https://github.com/gkamradt/needle-in-a-haystack. GitHub repository.
- Kang et al. (2026) Kang, M.; Chen, W.-N.; Han, D.; Inan, H. A.; Wutschitz, L.; Chen, Y.; Sim, R.; and Rajmohan, S. 2026. Acon: Optimizing context compression for long-horizon llm agents, 2025. *URL https://arxiv.org/abs/2510.00615*.
- Lewis et al. (2020) Lewis, P.; Perez, E.; Piktus, A.; Petroni, F.; Karpukhin, V.; Goyal, N.; Küttler, H.; Lewis, M.; Yih, W.-t.; Rocktäschel, T.; Riedel, S.; and Kiela, D. 2020. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. In *Advances in Neural Information Processing Systems*, volume 33, 9459–9474.
- Li et al. (2024) Li, J.; Tang, T.; Zhao, W. X.; Nie, J.-Y.; and Wen, J.-R. 2024. Pre-trained language models for text generation: A survey. *ACM Computing Surveys*, 56(9): 1–39.
- Masterman et al. (2024) Masterman, T.; Besen, S.; Sawtell, M.; and Chao, A. 2024. The landscape of emerging ai agent architectures for reasoning, planning, and tool calling: A survey. *arXiv preprint arXiv:2404.11584*.
- Nelson et al. (2024) Nelson, E.; Kollias, G.; Das, P.; Chaudhury, S.; and Dan, S. 2024. Needle in the Haystack for Memory Based Large Language Models. *arXiv preprint arXiv:2407.01437*.
- Packer et al. (2023) Packer, C.; Wooders, S.; Lin, K.; Fang, V.; Patil, S. G.; Stoica, I.; and Gonzalez, J. E. 2023. MemGPT: Towards LLMs as Operating Systems. *arXiv preprint arXiv:2310.08560*.
- Park et al. (2023) Park, J. S.; O’Brien, J.; Cai, C. J.; Morris, M. R.; Liang, P.; and Bernstein, M. S. 2023. Generative agents: Interactive simulacra of human behavior. In *Proceedings of the 36th annual acm symposium on user interface software and technology*, 1–22.
- Shinn et al. (2023) Shinn, N.; Cassano, F.; Berman, E.; Gopinath, A.; Narasimhan, K.; and Yao, S. 2023. Reflexion: Language Agents with Verbal Reinforcement Learning. *arXiv preprint arXiv:2303.11366*.
- Tang et al. (2025) Tang, Q.; Xiang, H.; Yu, L.; Yu, B.; Lu, Y.; Han, X.; Sun, L.; Zhang, W.; Wang, P.; Liu, S.; et al. 2025. Beyond turn limits: Training deep search agents with dynamic context window. *arXiv preprint arXiv:2510.08276*.
- Wang et al. (2026) Wang, Y.; Wang, Z.; Shi, Y.; Chen, S.; Wang, X.; Wang, Y.; Shen, B.; Li, L.; Gu, X.; McAuley, J.; and Zeng, D. D. 2026. Context Compression for LLM Agents: A Survey of Methods, Failure Modes, and Evaluation. *Preprints*.
- Yao et al. (2023) Yao, S.; Zhao, J.; Yu, D.; Du, N.; Shafran, I.; Narasimhan, K.; and Cao, Y. 2023. ReAct: Synergizing Reasoning and Acting in Language Models. In *International Conference on Learning Representations*.

## 补充材料

## 附录 A：可寻址召回压缩的形式化保证

本附录将正式阐述三个论断：(i) 为什么同时使所有引用可见与轮次无关的提示边界不相容；(ii) 为什么分页的 ARC 实现能提供有界的活动视图与精确的地址条件召回；(iii) 为什么在最坏情况下的精确恢复中，线性的外部存储增长是不可避免的。

### 形式化模型

##### 定义 2（Token 序列与观测历史）。
令 $\Sigma$ 为有限 token 字母表，$\Sigma^{\star}$ 表示有限 token 序列的集合。对于 $x \in \Sigma^{\star}$，令 $|x|$ 表示其 token 长度。在第 $i$ 轮，令 $\mathcal{O}_{i} = \left(O_{1}, O_{2}, \ldots, O_{N_{i}}\right)$ 为到该轮为止由正常环境动作产生的有序工具观测序列。对于每个观测 $O_{j}$，定义 $n_{j} = |O_{j}|$。下面的定理关注观测 $O_{j}$ 的精确保留。它并不声称丢弃的隐藏推理痕迹是可恢复的，除非这些痕迹也被逐字存储。

##### 定义 3（可用提示预算）。
令 $L_{\mathrm{ctx}}$ 为模型的总上下文限制，$G_{\max}$ 为单次模型调用预留的最大生成 token 数。定义可用输入 token 预算为
$$
L = L_{\mathrm{ctx}} - G_{\max}.
$$
因此，只要生成的补全包含不超过 $G_{\max}$ 个 token，任何序列化输入包含至多 $L$ 个 token 的模型调用都将保持在总上下文限制之内。

##### 假设 4（单射固定宽度出现标识符）。
设定一个声明的最大存储观测出现次数 $N_{\max} \geq 2$，并定义
$$
b = \left\lceil \log_{2} \left( N_{\max} + 1 \right) \right\rceil.
$$
对于每个观测出现 $j \in \{1, \ldots, N_{\max}\}$，令 $\operatorname{enc}_{b}(j)$ 为其单射的 $b$ 位编码。令 $\operatorname{fp}_{d}$ 为任意确定性的 $d$ 位指纹函数。ARC 分配
$$
\text{id}_{j} = \operatorname{enc}_{b}(j) \parallel \operatorname{fp}_{d}\!\left( \operatorname{signature}(A_{j}) \parallel \texttt{0x1F} \parallel O_{j} \right).
$$
出现索引（而非指纹）提供唯一性。SHA1 值可作为指纹保留，但所有证明均不假定 SHA1 或截断摘要的抗碰撞性。

##### 假设 5（只追加的观测存储）。
在正常动作 $A_{j}$ 产生观测 $O_{j}$ 之后，且在任意压缩从活动转录本中移除 $O_{j}$ 之前，ARC 在满足
$$
\texttt{ObsStore}[\text{id}_{j}].\texttt{full\_content} = O_{j}
$$
的条件下，将一条记录写入 $\text{id}_{j}$ 下。在此写入之后，该记录在任务期间永不会被覆盖、截断或删除。

##### 假设 6（持久化外部目录与有界页面）。
对于每个存储的观测出现 $j$，ARC 向外部目录追加一个引用存根 $z_{j}$。该存根包含 $\text{id}_{j}$、有界的元数据、有界的预览以及一个召回提示。其序列化的 token 开销（包括分隔符）至多为一个固定常数 $c \geq 1$。固定页面容量 $p \geq 1$。在第 $i$ 轮，页面为
$$
\mathcal{G}_{i,s} = z_{(s-1)p+1} \parallel \cdots \parallel z_{\min\{sp, N_{i}\}},
$$
其中 $1 \leq s \leq \lceil N_{i} / p \rceil$。一次只在活动提示中具体化一个页面。定义目录页面 token 预算 $P$ 以满足 $pc \leq P$。目录导航是有状态的，因此诸如 `catalog-first` 和 `catalog-next` 等命令具有有界的提示开销。

##### 假设 7（预算化的活动视图）。
令 $F = [\text{system}, g]$ 为固定任务前缀，定义 $B = \operatorname{tokens}(F)$。在每次调用 $\operatorname{Model}$ 之前，ARC 构造活动转录本
$$
\text{transcript}'_{i} = \operatorname{Serialize}\!\left( F, S_{i}, H_{i}, G_{i}, U_{i} \right),
$$
其中 $S_{i}$ 是确定性摘要，$H_{i}$ 是近期后缀，$G_{i}$ 是一个目录页面，$U_{i}$ 是已具体化的召回缓冲区。它们的预算满足：
$$
\begin{aligned}
\operatorname{tokens}(S_{i}) &\leq M, \\
\operatorname{tokens}(H_{i}) &\leq R, \\
\operatorname{tokens}(G_{i}) &\leq P, \\
\operatorname{tokens}(U_{i}) &\leq Q.
\end{aligned}
$$
近期后缀通过 token 预算 $R$ 选择，而非保留固定数量的轮次对。令 $\eta_{i}$ 为第 $i$ 轮中角色标记、分隔符、字段名和控制指令的精确序列化开销。假设 $0 \leq \eta_{i} \leq \eta$ 对于某个固定常数 $\eta$，并且序列化器的计费方式使得
$$
\operatorname{tokens}(\text{transcript}'_{i}) \leq B + \operatorname{tokens}(S_{i}) + \operatorname{tokens}(H_{i}) + \operatorname{tokens}(G_{i}) + \operatorname{tokens}(U_{i}) + \eta_{i}.
$$
定义
$$
K = B + M + R + P + Q + \eta,
$$
并要求 $K \leq L$。如果新产生的观测过大而无法放入 $H_{i}$，ARC 首先存储它，并在下一次模型调用之前以其有界引用存根表示。

##### 假设 8（精确分块召回）。
固定一个正召回载荷预算 $q \geq 1$ 和一个有界响应包装开销 $\rho \geq 0$，满足 $q + \rho \leq Q$。对于每个非空存储观测 $O_{j}$，定义召回块数为 $m_{j} = \lceil n_{j} / q \rceil$。对于每个块