ConvMem：用于长上下文推理的卷积记忆

# ConvMem：面向长上下文推理的卷积记忆
来源：https://arxiv.org/html/2609.10441
洪铭 张，兆珍 顾，风朔 白，明 豪，庆阳 张，媛媛 王，世阳 汤，燕娜 王，波 许
中国科学院自动化研究所

###### 摘要
尽管大型语言模型（LLMs）已展现出令人瞩目的能力，但由于固定的上下文限制，它们在处理极长上下文时常面临困难。为解决这一问题，MemAgent 等序列化方法通过分段读取文本并迭代更新固定大小的内存，来扩展有效上下文。然而，这种序列化范式存在高延迟问题，并且需要昂贵的强化学习（RL）训练，这可能导致在特定数据集上过拟合。为克服这些限制，我们提出了 ConvMem，一个无需训练、高度可并行化的框架，它将长上下文推理重新构建为分层卷积。受卷积神经网络（CNN）启发，ConvMem 将一个针对特定查询提示的 LLM 视为一个卷积核。该核分层摘要文本段落，将推理路径从线性链缩短为对数树结构。具体而言，ConvMem 集成了可配置步长和跳跃连接，以确保稳健的证据捕获和传递，同时采用多核卷积将复杂查询分解为解耦的语义通道。这种设计不仅减轻了错误累积，还能在文本段落和推理线程上实现大规模并行化。在 RULER-HotpotQA 和 RULER-2WikiMultiHopQA 上的实验表明，ConvMem 优于无需训练的基线方法，并避免了 RL 训练模型在分布外任务上常出现的参数化先验过拟合风险。

## 1 引言
处理极长上下文的能力——从消化整本书到执行复杂的多步推理——已成为大型语言模型（LLMs）的核心目标（Achiam 等，2023 (https://arxiv.org/html/2609.10441#bib.bib29)；Liu 等，2024a (https://arxiv.org/html/2609.10441#bib.bib28)；Team 等，2025 (https://arxiv.org/html/2609.10441#bib.bib30)）。尽管位置编码和注意力机制的进步（Su 等，2024 (https://arxiv.org/html/2609.10441#bib.bib4)；Beltagy 等，2020 (https://arxiv.org/html/2609.10441#bib.bib2)；Liu 等，2023 (https://arxiv.org/html/2609.10441#bib.bib7)）在理论上已将上下文窗口扩展至数百万个标记，但实际部署在推理延迟和性能下降方面仍面临瓶颈。具体来说，标准自注意力机制存在二次复杂度 \(O(N^2)\)，使得处理海量输入变得不可行。此外，即使是能够处理长文本的模型，也常常表现出“中间丢失”现象（Liu 等，2024b (https://arxiv.org/html/2609.10441#bib.bib1)），即随着上下文长度增加，推理性能会下降。为解决这些可扩展性问题，近期研究转向基于记忆的智能体，如 MemAgent（Yu 等，2025 (https://arxiv.org/html/2609.10441#bib.bib8)）、Mem-α（Wang 等，2025 (https://arxiv.org/html/2609.10441#bib.bib9)）和基于接地记忆的智能体（Yang 等，2025 (https://arxiv.org/html/2609.10441#bib.bib33)；Cui 等，2025 (https://arxiv.org/html/2609.10441#bib.bib34)）。通过将文本视为具有迭代记忆更新的顺序流，这些方法实现了线性复杂度 \(O(N)\)。然而，这种范式引入了两个关键限制。首先是**序列瓶颈**，即记忆状态的严格时间依赖性阻碍了并行化并导致高推理延迟。其次是**过拟合风险**。为优化记忆策略，这些系统严重依赖强化学习（RL）（Sutton 和 Barto，2018 (https://arxiv.org/html/2609.10441#bib.bib27)；Dong 等，2020 (https://arxiv.org/html/2609.10441#bib.bib39)；Zhang 和 Yu，2020 (https://arxiv.org/html/2609.10441#bib.bib38)）。我们的分析表明，经 RL 训练的智能体容易在特定数据集上过拟合，常常基于预训练知识幻觉出表面正确的答案，而非忠实地基于提供的上下文进行推理。

为克服这些挑战，我们提出了**卷积记忆（ConvMem）**，一个旨在实现高保真、可并行化的长上下文推理的无需训练的框架。ConvMem 受卷积神经网络（CNN）启发，通过将一个针对特定查询提示的冻结 LLM 视为一个语义卷积核，重新构建了长文本处理方式。与序列化方法不同，ConvMem 在每一层并发扫描文本段落。这种分层架构将信息流从线性链转变为对数树结构（深度为 \(O(\log N)\)）。这种拓扑转变不仅通过并行化加速了推理，还通过缩短推理路径减轻了累积错误传播。ConvMem 集成了三种架构机制，以增强推理保真度和精确度：

- • **可配置步长，用于稳健证据捕获：** 依赖单次传递会使推理容易受到边界截断和模型随机性的影响。ConvMem 引入重叠窗口以进行多视图扫描。这种方法允许核在不同的感受野上交叉验证信息，增强了关键证据的稳定性和召回率。
- • **跳跃连接，用于细节保留：** 分层摘要不可避免地会压缩信息，存在丢失细粒度细节的风险。我们引入了一种语义残差机制，其中高置信度的原始证据绕过中间层直接传播到最后的推理阶段，确保答案基于精确的细节。
- • **多核卷积，用于语义解耦：** 复杂任务通常涉及相互交织的逻辑线索。ConvMem 将查询分解为子问题，并部署不同的核将相关信息提取到独立的语义通道中，防止正交推理路径之间的干扰。

我们在 RULER-HotpotQA 和 RULER-2WikiMultiHopQA（Hsieh 等，2024 (https://arxiv.org/html/2609.10441#bib.bib14)；Yang 等，2018 (https://arxiv.org/html/2609.10441#bib.bib15)；Ho 等，2020 (https://arxiv.org/html/2609.10441#bib.bib16)）上评估了 ConvMem。结果表明，ConvMem 优于无需训练的基线方法，并在分布外任务上表现出优于 RL 训练模型的泛化能力。我们的贡献有三点：

- • 我们提出了 ConvMem，这是第一个受 CNN 启发的、无需训练的分层框架，通过打破序列瓶颈，实现了可并行化的长上下文推理。
- • 我们通过实证揭示了基于 RL 的记忆智能体的过拟合风险，证明其性能严重依赖于参数记忆，而非上下文内推理。
- • 我们证明，通过有原则地整合可配置步长、语义跳跃连接和多核卷积，ConvMem 为无需训练的方法建立了新的技术前沿，同时与 RL 训练的模型相比，提供了更优的泛化能力。

## 2 面向长上下文推理的 ConvMem
在本节中，我们介绍 ConvMem，一个无需训练的框架，它将卷积神经网络（CNN）的架构原理应用于长上下文推理。与将文本作为线性流处理的序列记忆智能体不同，ConvMem 将推理过程重新构建为分层、多通道的卷积操作。我们首先在 2.2 节（https://arxiv.org/html/2609.10441#S2.SS2）中形式化问题并定义语义卷积核。然后，在 2.3 节（https://arxiv.org/html/2609.10441#S2.SS3）中详述核心架构机制，包括可配置步长、跳跃连接和多核卷积，这些机制将视觉卷积适配于文本推理。最后，在 2.4 节（https://arxiv.org/html/2609.10441#S2.SS4）中描述完整的分层并行推理工作流程。

### 2.1 问题形式化
我们考虑一个长上下文问答任务。令 \(\mathcal{D}=\{t_1,t_2,\dots,t_N\}\) 表示一个由 \(N\) 个标记组成的庞大输入文档，\(Q\) 表示一个用户查询。我们的目标是生成一个答案 \(A\)，该答案能够基于 \(\mathcal{D}\) 中包含的证据准确地回答 \(Q\)。类比于 CNN 的空间卷积，我们定义适用于文本推理的关键符号：

- • \(W\)（核大小）：单个 LLM 核扫描的最大上下文长度（以标记计）。
- • \(S\)（步长）：扫描核的步长。设置 \(S < W\) 可实现重叠窗口，从而增强证据捕获。
- • \(L\)（层数）：分层摘要的深度。
- • \(C\)（通道数）：独立的语义流数量，对应于解耦的子问题。

### 2.2 语义卷积核
我们定义语义卷积核 \(\mathcal{K}\) 为一个冻结的 LLM（例如 Qwen2.5-32B-Instruct），它接受一个提示模板。对于通道 \(c\) 和子问题 \(q^{(c)}\)，核 \(\mathcal{K}^{(c)}\) 被提示执行以下两项任务：
1. **局部摘要：** 从输入文本片段 \(x\) 中生成一个简洁的要点总结。
2. **证据提取：** 从 \(x\) 中识别并提取与子问题 \(q^{(c)}\) 相关的关键事实、引用或细微线索。

核的输出是这些证据的结构化列表。这种双输出设计使核既能提供高层总结，又能保留高保真度的原始细节。

### 2.3 核心架构机制
#### 可配置步长
为确保稳健的证据捕获，我们引入重叠扫描窗口。步长 \(S\) 控制连续窗口之间的偏移量。当 \(S < W\) 时，相邻窗口会重叠。这使得核能够从不同的视角扫描相同的文本区域，减少因任意边界划分而导致的信息丢失。

#### 跳跃连接
我们实现了一个语义残差缓冲区 \(\mathcal{B}^{(c)}\) 用于每个通道 \(c\)。当核 \(\mathcal{K}^{(c)}\) 提取高置信度的证据时，这些证据会同时被推送到下一卷积层的输入和残差缓冲区 \(\mathcal{B}^{(c)}\) 中。这确保了原始的、未经压缩的证据可以在最终推理阶段直接使用。

#### 多核卷积
对于复杂查询 \(Q\)，我们首先使用一个解耦提示将其分解为 \(C\) 个语义独立的子问题 \(\{q^{(1)}, \dots, q^{(C)}\}\)。每个子问题由一个专用的卷积核 \(\mathcal{K}^{(c)}\) 处理。这些核并行运行，创建独立的语义通道，从而防止不同推理线索之间的干扰。

### 2.4 分层并行推理工作流程
推理过程组织成一个 \(L\) 层的层级结构。

**第 1 层（底层）：初始扫描**
文档 \(\mathcal{D}\) 被分割成 \(N_0\) 个重叠的文本片段。每个核 \(\mathcal{K}^{(c)}\) 并发地扫描这些片段，生成初始证据列表。这些列表被串联起来，形成该通道的原始证据流。

**第 l 层（\(l > 0\)）：递归摘要**
对于每个通道 \(c\)，来自上一层的摘要首先被拼接成一个中间文本流 \(\mathbf{H}^{(l-1,c)}\)。这个流被切割成新的重叠片段，语义核 \(\mathcal{K}^{(c)}\) 使用语义卷积操作递归应用：
\[ \mathbf{H}^{(l,c)} = \text{Conv}(\mathbf{H}^{(l-1,c)}, \mathcal{K}^{(c)}) \]
ConvMem 通过语义压缩实现降维。假设平均压缩因子为 \(\alpha\)（摘要长度与输入长度之比），总序列长度呈指数衰减：\(N_l \approx N_0 \cdot \alpha^l\)。随着层次加深，有效感受野指数级扩大，将庞大的文档浓缩为一组可管理的全局表示 \(\mathbf{H}^{(L,c)}\)。

**图 2：ConvMem 的整体工作流程。** (a) **查询分解：** 复杂查询 \(Q\) 被解耦为 \(C\) 个子问题，以隔离推理线索。(b) **多核卷积：** 每个子问题驱动一个不同的核并发扫描文档。通过分层处理，局部证据被递归地摘要和聚合，以综合最终的全局答案 \(A\)。参见图注

##### 最终聚合
在最终层 \(L\)，推理分两个阶段进行以生成全局答案。首先，每个通道独立为其子问题 \(q^{(c)}\) 生成一个子答案 \(a^{(c)}\)。关键的是，这一步既利用了高级摘要 \(\mathbf{H}^{(L,c)}\)，也利用了残差缓冲区 \(\mathcal{B}^{(c)}\) 中的高保真度原始证据，以确保精确性：
\[ a^{(c)} = \text{LLM}(q^{(c)} \oplus \mathbf{H}^{(L,c)} \oplus \mathcal{B}^{(c)}) \]
其次，模型执行全局推理以得出最终答案 \(A\)。它将原始查询 \(Q\) 与一系列已解决的子问题/子答案对聚合在一起：
\[ A = \text{LLM}\left(Q \oplus \bigoplus_{c=1}^{C}(q^{(c)} \oplus a^{(c)})\right) \]
这种设计确保了细粒度的细节在子问题层面得到解决，而最终的聚合则专注于逻辑综合。

##### 并行化
ConvMem 相对于序列记忆智能体（例如 MemAgent）的一个关键优势是解耦了时间依赖性。在 MemAgent 中，步骤 \(t\) 严格依赖于步骤 \(t-1\) 的记忆状态，迫使 \(O(N)\) 的顺序执行。相反，在 ConvMem 的任何层 \(l\) 中，所有段落上的操作都是独立的。此外，不同核 \(c\) 之间的计算也是正交的。这种独立性实现了大规模并行化。理论上，推理延迟仅由树的深度决定，而非序列长度：
\[ T_{\text{latency}} \propto O(\log N) \]
这种对数缩放使 ConvMem 能够处理百万标记级别的上下文，其延迟与处理短上下文相当。

## 3 实验
在本节中，我们进行广泛实验，以探究三个关键研究问题：
**Q1：性能效能。** ConvMem 在既定基准测试上与标准语言模型和记忆增强智能体相比如何？
**Q2：鲁棒性和可扩展性。** 基于 RL 的方法在转移到未见过的数据分布时常常出现性能下降。相比之下，ConvMem 是否比这些专用模型展现出更优的跨领域一致性？此外，ConvMem 是否与模型无关，使其在集成到不同的骨干 LLM 时无需适配即可立即获得性能提升？
**Q3：机制分析。** 所提出的架构组件（可配置步长、跳跃连接、多核卷积）如何为系统的有效性做出贡献？

### 3.1 实验设置
##### 基线方法。 为确保全面评估，我们将 ConvMem 与分为三个不同范式的基线进行比较：
- • **标准 LLM：** 我们采用 Qwen2.5-32B-Instruct（Qwen 等，2025 (https://arxiv.org/html/2609.10441#bib.bib11)）作为主要基线。为研究不同模型规模的性能扩展，我们还包括了 Qwen2.5-7B-Instruct 和 Qwen2.5-72B-Instruct（Team，2024 (https://arxiv.org/html/2609.10441#bib.bib12)）作为比较基线（Team，2024 (https://arxiv.org/html/2609.10441#bib.bib12)）。
- • **无需训练的记忆方法：** 我们评估了基于检索和基于记忆的方法，包括 RAG-BM25（Mem-Lab，2024 (https://arxiv.org/html/2609.10441#bib.bib13)）、MemAgent-W/O-RL（Yu 等，2025 (https://arxiv.org/html/2609.10441#bib.bib8)）和 Mem-α-W/O-RL（Wang 等，2025 (https://arxiv.org/html/2609.10441#bib.bib9)）。所有这些方法都使用 Qwen2.5-32B-Instruct 作为骨干，以确保公平比较。
- • **RL 训练的专用模型：** 我们对 MemAgent（Yu 等，2025 (https://arxiv.org/html/2609.10441#bib.bib8)）和 Mem-α（Wang 等，2025 (https://arxiv.org/html/2609.10441#bib.bib9)）进行了基准测试。这些模型代表了 RL 范式，该范式通过大量训练来优化序列记忆更新。

##### 数据集。 我们在两个旨在评估分布内和分布外性能的基准上进行评估：
- • **RULER-HotpotQA（分布内）：** 遵循 MemAgent 协议，我们使用 RULER-HotpotQA 基准（Hsieh 等，2024 (https://arxiv.org/html/2609.10441#bib.bib14)；Yang 等，2018 (https://arxiv.org/html/2609.10441#bib.bib15)）。该数据集将来自 HotpotQA 的多跳问题改编为长上下文“大海捞针”（NIAH）范式。至关重要的是，由于 MemAgent 使用此特定数据分布进行策略优化，它作为分布内测试平台。
- • **RULER-2WikiMultiHopQA（分布外）：** 为严格区分推理与记忆，我们基于 2WikiMultiHopQA（Ho 等，2020 (https://arxiv.org/html/2609.10441#bib.bib16)），使用与 RULER-HotpotQA 相同的构建协议，合成了一个新的长上下文数据集。该数据集在 MemAgent 训练期间未被见过，提供了严格的 OOD 设置来评估泛化能力。

**表 1：** RULER-HotpotQA（分布内）和 RULER-2WikiMultiHopQA（分布外）上的主要结果。我们报告了在 28k 到 896k 上下文长度范围内的 F1 和 Sub-EM 分数。最佳结果以粗体突出显示，次佳结果以添加下划线突出显示。
| 类别 | 模型 | 指标 | RULER-HotpotQA | | | | | | 2WikiMultiHopQA | | | | | |
| :--- | :--- | :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
| | | | **28k** | **56k** | **112k** | **224k** | **448k** | **896k** | **28k** | **56k** | **112k** | **224k** | **448k** | **896k** |
| **基础模型** | Qwen2.5-32B-Instruct | F1 | 61.95 | 7.77 | 48.86 | 44.04 | 18.59 | 16.78 | 56.52 | 57.2 | 50.4 | 41.7 | 329.45 | 20.93 |
| | | Sub-EM | 69.53 | 63.28 | 53.91 | 44.53 | 17.19 | 17.97 | 67.19 | 65.62 | 62.55 | 50.0 | 34.38 | 28.12 |
| **无需训练方法** | RAG-BM25 | F1 | 45.98 | 51.11 | 47.21 | 35.86 | 29.27 | 30.67 | 34.54 | 31.17 | 24.55 | 23.19 | 21.25 | 17.34 |
| | | Sub-EM | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... | ... |