MemDefrag：大型语言模型的潜在记忆碎片整理

arXiv cs.CL 论文
llm memory-management latent-memory defragmentation training-free model-agnostic

摘要

提出MemDefrag，一个无需训练的框架，利用中间层追踪信号对大型语言模型中的潜在记忆进行碎片整理，在知识保留方面显著优于MemoryLLM和M+等现有方法。

arXiv:2607.05969v1 公告类型：新 摘要：潜在记忆（Latent memory）将过去的知识片段存储为逐层隐藏状态，已成为大型语言模型（LLMs）中长期记忆的一种有前途的范式（例如MemoryLLM和M+）。然而，由于位置编码错位以及缺乏区分目标记忆片段与无关片段的追踪机制，该范式在记忆更新过程中会出现显著的性能下降。为了发现这样的追踪机制，我们探测了存储记忆片段上的逐层注意力密度，发现一小部分中间Transformer层始终将最高密度集中在目标片段上——暴露了一种固有的追踪信号。鉴于此，我们提出MemDefrag，一个无需训练且模型无关的框架，它（1）使用中间层追踪信号进行记忆碎片整理（对记忆进行排序、重排和过滤），以及（2）在超出容量时应用基于信息量的比例遗忘机制。实验表明，MemDefrag在知识保留（例如，50次记忆更新后为43.0% vs. 17.4%/17.6%）和长上下文基准测试上显著优于MemoryLLM和M+，并且在各种LLM和潜在记忆变体上具有良好的泛化能力。
查看原文
查看缓存全文

缓存时间: 2026/07/08 04:42 

# MemDefrag：面向大型语言模型的潜在内存碎片整理
来源：https://arxiv.org/abs/2607.05969
查看PDF（https://arxiv.org/pdf/2607.05969）

> **摘要：**潜在内存（Latent memory）通过将过往知识片段存储为逐层隐藏状态，已成为大型语言模型（LLMs）中实现长期记忆的一种有前景的范式（例如 MemoryLLM 和 M+）。然而，该范式在内存更新过程中存在显著的性能退化，原因在于位置编码对齐不当，以及缺乏区分目标记忆片段与无关记忆片段的追踪机制。为了探索这种追踪机制，我们探测了跨存储记忆片层的逐层注意力密度，发现一小部分中间 Transformer 层始终在目标片段上集中最高的密度——揭示了一种固有的追踪信号。基于此，我们提出了 MemDefrag，一个无需训练且与模型无关的框架，该框架（1）利用中间层追踪信号执行内存碎片整理（对记忆进行排序、重排和过滤），以及（2）在容量超限时应用基于信息量的比例遗忘机制。实验表明，MemDefrag 在知识保留（例如，经过 50 次内存更新后，43.0% 对比 17.4%/17.6%）以及长上下文基准测试上显著优于 MemoryLLM 和 M+，并且能够很好地泛化至各种 LLM 和潜在内存变体。

## 提交历史

来自：Ruiyi Yan \[查看邮件（https://arxiv.org/show-email/1b90dbb8/2607.05969）\] **\[v1\]** 2026年7月7日星期二 08:04:34 UTC（763 KB）

相似文章

Δ-Mem：大型语言模型的高效在线记忆

Hacker News Top

提出 delta-Mem，一种轻量级在线记忆机制，利用紧凑状态矩阵并通过增量规则学习进行更新，以提升冻结大型语言模型的长上下文性能，无需全量微调或上下文扩展。

δ-mem：大型语言模型的高效在线记忆机制

Hugging Face Daily Papers

本文介绍了 δ-mem，这是一种轻量级的记忆机制，通过为冻结的注意力骨干网络增加一个紧凑的关联记忆状态来增强大型语言模型。实验表明，该机制在计算开销极小的情况下，在记忆密集型基准测试中实现了性能提升。

降低LLM延迟

Reddit r/AI_Agents

用于降低大语言模型延迟、提高推理速度的技术和方法。

StageMem：面向语言模型的生命周期管理记忆框架

arXiv cs.CL

StageMem 提出了一种面向语言模型的生命周期管理记忆框架，该框架将记忆划分为瞬态、工作状态和持久状态三个阶段，并引入明确的置信度与强度指标，将记忆视为一种有状态的处理流程而非静态存储，从而在容量受限的条件下更精准地管理信息的保留与遗忘。