不可变的过去：在可变RAG中形式化状态可变性与冲突解决

# 不可变过去：在可变RAG中形式化状态可变性与冲突解决
来源：https://arxiv.org/html/2609.16073
Amir AmiriTabat  
隶属：独立研究员

###### 摘要
检索增强生成（RAG）是长期自主智能体的主要记忆架构。然而，将共享记忆视为仅追加的流会引入**语义遮蔽**——这是一种关键失效模式，其中冲突的历史观察会累积并在统计上主导有效的近期更新。在动态环境中，这会导致严重的状态分歧，因为智能体检索并基于过时的事实行动。本文形式化了状态可变性的机制，以证明标准密集检索存在**渐进式召回衰减**。此外，我们形式化证明了**多数表决陷阱**，揭示了增加检索上下文窗口在语义等价条件下会因稀释注意力机制而矛盾地降低生成准确性。为解决此问题，我们引入了**GC-Mem（内存垃圾回收）**——一种严格的推理时一致性协议。与启发式的时间衰减机制（不加区分地破坏有效的长期记忆）不同，GC-Mem纯粹依赖时间支配算子（Φ<sub>𝒯</sub>）与矛盾检测来精确切除被遮蔽的上下文。在一个包含137,760个记忆块和连续累积扫描的严格行为推断基准上进行评估后，标准RAG和时间戳重排序基线表现出严重退化。相比之下，GC-Mem实验性地恢复了>90%的冲突解决准确性。我们建立了严格的精确率和召回率部署阈值，确保在标准可变RAG根本失败的地方实现状态收敛。

## 1 引言
随着自主系统从孤立任务转向长期工作流，其记忆架构的一致性变得至关重要。检索增强生成（RAG）是公认的共识记忆框架 Lewis et al. (2020) (https://arxiv.org/html/2609.16073#bib.bib6)，但它隐含地基于静态知识库的假设运行。在现实世界的智能体部署中，记忆是一个仅追加的流，其中事实状态会随时间变化（例如，用户偏好转变、项目目标更新、基础设施变更）Park et al. (2023) (https://arxiv.org/html/2609.16073#bib.bib12)。我们指出了仅追加范式的一个根本性缺陷：当实体更新时，历史状态并未被删除。由于历史状态和更新状态在语义上等价但逻辑上矛盾，密集检索算法返回的是过时块的统计多数。我们将这种失效模式形式化为**语义遮蔽**。

本文建立了状态突变下检索失败的理论边界。我们证明了三个核心定理：(1) 随着系统交互历史增长，有效状态召回渐进衰减至零；(2) 即使成功检索到有效块，生成也会失败，因为注意力质量在语义等价的矛盾中变得无差别；(3) 多因素记忆评分通过保护根深蒂固的历史错误，从根本上违背状态收敛。为解决这些漏洞，我们提出了**GC-Mem**——一个轻量级的、推理时的垃圾回收算子，严格由时间支配（Φ<sub>𝒯</sub>）驱动。与简单的基于时间戳的重排序（我们证明其会破坏有效的历史推理）不同，GC-Mem在生成前会从检索到的上下文中精确移除逻辑矛盾。

## 2 相关工作
**智能体记忆与可变RAG。** 长期自主智能体的部署需要强大的记忆架构。当前框架如 Voyager Wang et al. (2023) (https://arxiv.org/html/2609.16073#bib.bib14) 和 Reflexion Shinn et al. (2023) (https://arxiv.org/html/2609.16073#bib.bib13) 利用迭代自我反思来更新智能体策略，但依赖于局部的情节缓冲区。 MemGPT Packer et al. (2023) (https://arxiv.org/html/2609.16073#bib.bib11) 引入了一个受操作系统启发的内存层次结构来管理上下文限制，而 GraphRAG Edge et al. (2024) (https://arxiv.org/html/2609.16073#bib.bib2) 和 HippoRAG Gutiérrez et al. (2024) (https://arxiv.org/html/2609.16073#bib.bib3) 则映射全局语义结构以进行多跳推理。然而，这些架构主要将记忆视为单调增长的静态知识库。当面临状态突变时，标准密集检索 Lewis et al. (2020) (https://arxiv.org/html/2609.16073#bib.bib6); Karpov et al. (2024) (https://arxiv.org/html/2609.16073#bib.bib4) 会失效，因为启发式时间衰减算法不加区分地擦除有效的历史不变量与过时事实。GC-Mem明确解决了RAG驱动的智能体架构中的可变性差距。

**知识编辑与时序矛盾。** 我们的工作连接了可变RAG与知识编辑和时序问答的文献。诸如 ROMEMeng et al. (2022) (https://arxiv.org/html/2609.16073#bib.bib9) 和 MEMITMeng et al. (2023) (https://arxiv.org/html/2609.16073#bib.bib10) 等方法直接修改大语言模型的参数权重以注入更新事实。同时， TempLAMADhingra et al. (2022) (https://arxiv.org/html/2609.16073#bib.bib1) 和 StreamingQALiska et al. (2022) (https://arxiv.org/html/2609.16073#bib.bib7) 探索了对时序演变语料库的问答。虽然参数编辑对于连续、高频的多智能体流来说计算成本过高，但GC-Mem充当非参数的推理时过滤器。通过利用自然语言推理（NLI）矛盾检测，GC-Mem无需更新权重即可动态解决检索上下文中的时序冲突。

**长上下文稀释与注意力崩塌。** 本文形式化的多数表决陷阱建立在“迷失在中间”现象 Liu et al. (2023) (https://arxiv.org/html/2609.16073#bib.bib8); Levy et al. (2024) (https://arxiv.org/html/2609.16073#bib.bib5) 的基础上，该研究表明当相关信息被噪声包围时，大语言模型的注意力会退化。我们通过证明在可变记忆中，上下文稀释不是长文档的偶然副产品，而是一种数学渐进线，对此进行了扩展。随着历史增长，检索到正确状态的概率趋近于零，生成的注意力质量被过时证据的统计多数所捕获 Wang et al. (2025) (https://arxiv.org/html/2609.16073#bib.bib15)。

**大语言模型的延迟与自我纠正。** 近期智能体推理的进展严重依赖批评者引导的反思循环 Zhang et al. (2025) (https://arxiv.org/html/2609.16073#bib.bib16) 来纠正幻觉和推理错误。然而，依赖多轮生成式反思来修剪记忆矛盾会引入严重的延迟开销和Token成本。GC-Mem作为一个计算轻量级的、前馈的推理过滤器运行。通过在主要生成阶段之前切除逻辑矛盾，GC-Mem规避了对生成后反思循环的需求，确保了在有限操作延迟内的严格事实依据。

## 3 理论框架
令 𝓜<sub>t</sub> = {(c<sub>1</sub>, τ<sub>1</sub>), ..., (c<sub>n</sub>, τ<sub>n</sub>)} 表示时间 t 的共享记忆流，其中 c<sub>i</sub> 是记忆块，τ<sub>i</sub> 是其时间戳。

### 3.1 问题形式化
###### 定义 3.1（可变实体状态与多重转换动态）
考虑一个实体 E。其真实状态 σ<sub>E</sub>(t) 被形式化定义为一个随时间分段常数的函数。令 𝒯 = {t<sub>0</sub>, t<sub>1</sub>, ..., t<sub>n</sub>} 表示严格单调递增的转换时间戳序列（t<sub>0</sub> < t<sub>1</sub> < ... < t<sub>n</sub>）。对于每个时间间隔 t ∈ [t<sub>i</sub>, t<sub>i+1</sub>)，状态为 S<sub>i</sub>。当 t > t<sub>n</sub> 时，终端状态 S<sub>new</sub> = S<sub>n</sub> 是唯一有效的状态。所有先前的状态 S<sub>old</sub> ∈ {S<sub>0</sub>, ..., S<sub>n-1</sub>}，其中 S<sub>old</sub> ⊥ S<sub>new</sub>，构成逻辑矛盾。这形式化了链式状态突变（例如 A → B → C）。因为时间算子 Φ<sub>𝒯</sub> 强制所有检索到的块两两满足 τ<sub>new</sub> > τ<sub>old</sub>，它动态地将链式矛盾折叠到终端有效状态 S<sub>n</sub>。

###### 引理 3.2（语义等价性）
对于一个查询 q 目标实体 E 的状态，旧状态和新状态的嵌入相似度在数学上不可区分，仅相差一个边缘噪声项 ε：
∥sim(q, S<sub>old</sub>) − sim(q, S<sub>new</sub>)∥ < ε  (1)

###### 假设 3.3（累积假设 N ≫ M）
令 η(S) 表示断言状态 S 语义相似于特定属性的块的数量。例如，如果智能体就用户饮食与用户交互了50次，而饮食只变化了一次，则 N=49，M=1。N 按属性缩放，而非全局。我们假设 η(S<sub>old</sub>) ≫ η(S<sub>new</sub>)。

### 3.2 遮蔽失效
###### 定理 3.4（渐进式召回衰减）
假设累积假设（N ≫ M），检索集 𝓡<sub>k</sub> 中有效块 X 的期望数量受限于：
𝔼[X] ≈ k * M / (N + M)  (2)
随着属性历史 N → ∞，𝔼[X] → 0。由于密集检索器表现出对主导短语固有的语义偏差，这个超几何公式构成了召回失败的理论上界（证明见附录 B.1）。

###### 定理 3.5（多数表决陷阱）
即使 𝓡<sub>k</sub> 包含有效证据（例如 k-1 个过时块和1个有效块），生成也会崩溃。在语义等价性（引理 3.2）下，大语言模型的注意力机制变得无差别地对待这些块 Liu et al. (2023) (https://arxiv.org/html/2609.16073#bib.bib8)。分配给过时状态的概率质量与其表示成比例：
P(y = S<sub>old</sub>) ∝ (k-1)/k  (3)
（证明见附录 B.2）。

图 1 标题：嵌入相似度噪声（ε）分布，说明了新旧状态之间的语义等价性。

## 4 GC-Mem 协议
为数学上保证状态收敛，我们引入了 **GC-Mem**。在操作上，该系统作为从摄入的交互日志到验证生成的线性推理栈运行。我们详细描述了其架构机制。

### 4.1 记忆架构与候选检索
每个多轮会话被分段并通过固定的句子编码器嵌入，填充主要的中期内存（MTM）向量索引。可选地，该架构支持短期记忆（STM）近时缓冲区，实现为一个镜像最近 N 个块的 FIFO 队列。当用户查询发出时，系统执行多查询扩展以缓解单嵌入偏差。MTM 返回 top-k 语义相似的块。如果启用 STM 缓冲区，则将其与 MTM 命中结果合并并去重，形成冻结的候选集 𝓡<sub>k</sub>。关键是，𝓡<sub>k</sub> 作为所有方法（标准 RAG、时间戳重排序和 GC-Mem）评估的相同基线上下文，以确保严格的实验对等性。

### 4.2 矛盾预言机与时间支配
每个项目被简化为一个元组 m<sub>i</sub> = (c<sub>i</sub>, τ<sub>i</sub>, r<sub>i</sub>)，其中 τ<sub>i</sub> 是严格的时间戳，r<sub>i</sub> 是检索相关性。我们定义矛盾函数 κ(c<sub>i</sub>, c<sub>j</sub>) ∈ {0,1}，评估两个检索到的陈述相对于用户查询是否逻辑矛盾。这一步骤利用在 𝓡<sub>k</sub> 内部严格操作的成对自然语言推理（NLI）启发式，导致有界的 O(|𝓡<sub>k</sub>|²) 操作复杂度。

我们在检索集 𝓡<sub>k</sub> 上定义时间支配算子 Φ<sub>𝒯</sub>：
Φ<sub>𝒯</sub>(𝓡<sub>k</sub>) = {c<sub>i</sub> ∈ 𝓡<sub>k</sub> | ∄ c<sub>j</sub> ∈ 𝓡<sub>k</sub> : κ(c<sub>i</sub>, c<sub>j</sub>) = 1 ∧ τ<sub>j</sub> > τ<sub>i</sub>}  (4)

###### 定理 4.1（状态恢复）
应用 Φ<sub>𝒯</sub> 保证，如果至少检索到一个有效块 S<sub>new</sub>，则所有较旧的矛盾块 S<sub>old</sub> 都会被切除。上下文被清除矛盾，打破了多数表决陷阱，并强制 P(y = S<sub>new</sub>) → 1。

## 5 实验方法论
### 5.1 数据集规模与原理
我们构建了一个时序突变基准，包含 2,016 个实验实例和 137,760 个评估的记忆块，覆盖连续的参数扫描（6 个受控的 N:M 累积比，从 1:1 到 100:1，以及 4 种模型架构）。我们使用受控的合成环境，因为有机数据无法分离语义遮蔽的数学边界。我们评估了外部数据集（FactConsolidation 和 WikiContradict），发现它们分别产生 0% 和 10% 的冲突解决准确率（CR-Acc），这是由于完全缺乏受控的时序矛盾比率。

### 5.2 行为流程
为确保稳健评估，我们利用行为生成流程来构建记忆上下文。初步模板表现出高达 14% 的关键词泄露（其中状态被明确命名，例如“状态：已就业”）。该流程完全依赖行为可推断的状态约束（例如，旧：“抱怨爬一层楼梯后感到气喘吁吁。” vs 新：“今天早餐前慢跑了三英里。”）。由二级 GPT-4 质量评分器调节，关键词泄露被抑制在 0-3%，迫使检索器纯粹依赖复杂的语义相似性。中型数据集包含 48 个实例（1,464 个块），大型包含 65 个实例（1,950 个块）。

图 2：系统架构：本文使用的端到端 RAG 系统（此图描述系统架构，而非数据集生成流程）。图表显示了分块、嵌入、可选的 STM（短期记忆）FIFO，以及三个并行的答案路径（标准 RAG、时间戳重排序和 GC-Mem）。所有方法接收相同的检索候选集，因此差异归因于矛盾预言机 κ 和时间支配算子 Φ<sub>𝒯</sub>。

## 6 结果
### 6.1 时间戳基线与 GC-Mem
一个常见的启发式是简单的时间衰减或时间戳重排序可以解决可变记忆。表 1 (https://arxiv.org/html/2609.16073#S6.T1) 经验证伪了这一点。时间戳启发式盲目地惩罚所有历史块，丢弃有效的、非矛盾的长期事实与过时事实一起。

表 1：冲突解决准确率（CR-Acc）。仅时间戳导致严重退化。（* 表示 p < 0.01 显著性）。

图 3：STM（短期记忆）对模型冲突解决准确率的影响：时间戳重排序与 GC-Mem 的比较。STM 提供近时证据；该图显示 GC-Mem 保留了显著优势，因为它切除矛盾旧块，而不是重排序它们。

### 6.2 短期记忆（STM）动态
为评估架构交互，我们激活了短期记忆（STM）接收...