Sparse Delta Memory：通过稀疏性扩展线性RNN的状态容量

Hugging Face Daily Papers 论文
sparse-memory linear-rnn long-context attention deep-learning nlp efficiency

摘要

Sparse Delta Memory 通过稀疏寻址扩展了门控线性RNN，显著增加了隐藏状态容量，从而在保持计算效率的同时改进了长上下文学习和检索。

线性注意力模型允许每个 token 具有固定的状态大小和固定的计算量。然而，由于状态大小有限，线性注意力模型在长上下文召回方面落后于基于 softmax 注意力的 Transformer 架构。增大线性注意力的状态大小可以提高召回性能，但代价是更高的 FLOPs。在这项工作中，我们引入了 Sparse Delta Memory (SDM)，这是一种通过稀疏寻址方案将门控线性 RNN 的隐藏状态容量提升数个数量级的架构。SDM 扩展了 Gated DeltaNet 架构，用对大型显式存储器的稀疏读写取代了密集的键值外积。我们证明，在 isoFLOP 约束和相同参数数量下，更高的状态存储器容量显著提升了上下文学习和长上下文检索任务的性能。此外，通过学习 SDM 存储器的初始状态并将其用作参数化存储器，我们展示了该模型在一系列常识和推理任务上进一步改进。
查看原文
查看缓存全文

缓存时间: 2026/07/09 15:40

论文页面 - Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity

来源: https://huggingface.co/papers/2607.07386

摘要

Sparse Delta Memory (稀疏增量记忆) 通过稀疏寻址扩展了门控线性 RNN，极大地增加了隐藏状态容量，从而在保持计算效率的同时改善了长上下文学习和检索。

线性注意力模型 (https://huggingface.co/papers?q=Linear%20attention%20models) 允许固定状态大小和每个 token 的固定计算量。然而，由于其有限的状态大小，线性注意力模型在长上下文召回方面落后于基于 softmax 注意力 (https://huggingface.co/papers?q=softmax-attention) 的 Transformer 架构 (https://huggingface.co/papers?q=transformer%20architectures)。增加线性注意力的状态大小可以提高召回性能，但代价是更高的 FLOPs。在这项工作中，我们引入了 Sparse Delta Memory (SDM)，这是一种通过稀疏寻址方案 (https://huggingface.co/papers?q=sparse%20addressing%20scheme) 将门控线性 RNN (https://huggingface.co/papers?q=gated%20linear%20RNNs) 的隐藏状态容量扩展到几个数量级更大的架构。SDM 扩展了 Gated DeltaNet (https://huggingface.co/papers?q=Gated%20DeltaNet) 架构，用稀疏读写到大显式内存 (https://huggingface.co/papers?q=explicit%20memory) 的方式替代了密集的键值外积。我们表明，在等 FLOP 约束下且参数数量相同的情况下，更高的状态内存容量显著改善了上下文学习 (https://huggingface.co/papers?q=in-context%20learning) 和长上下文检索 (https://huggingface.co/papers?q=long-context%20retrieval) 任务的性能。此外，通过学习 SDM 内存的初始状态并因此将其用作参数化内存 (https://huggingface.co/papers?q=parametric%20memory)，我们展示了该模型在广泛常识知识和推理任务上的进一步改进。

查看 arXiv 页面 (https://arxiv.org/abs/2607.07386) 查看 PDF (https://arxiv.org/pdf/2607.07386) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.07386)

在您的智能体中获取此论文：

hf papers read 2607\.07386

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2607.07386 以从此页面链接。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.07386 以从此页面链接。

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2607.07386 以从此页面链接。

包含此论文的收藏集 1

相似文章

Δ-Mem：大型语言模型的高效在线记忆

Hacker News Top

提出 delta-Mem，一种轻量级在线记忆机制，利用紧凑状态矩阵并通过增量规则学习进行更新，以提升冻结大型语言模型的长上下文性能，无需全量微调或上下文扩展。

历史自我重演：释放线性注意力的长上下文能力

Hugging Face Daily Papers

论文提出了 NoteBank，一种免训练的稀疏情景记忆，通过归档选定文本并通过原生计算进行重放来增强线性注意力模型，在一百万 token 下将 Gated DeltaNet 在 RULER 上的长上下文检索准确率从 1.7% 提升至 70.3%，且 FLOPs 开销可忽略不计。

恒定内存检索：固定矩阵状态中的学习关联

arXiv cs.LG

Pebble ML 的一篇论文提出了一种小型 DeltaNet 变体，它通过固定的 token 级键偏置，在一个固定的 32 KiB 循环矩阵状态中，为每条序列学习 32 个键值对关联。即使面对冗长的填充上下文，该模型仍能实现 99.95% 的检索准确率；而参数量相当的向量基线和 Transformer 基线均无法学会该任务。