Sparse Delta Memory：通过稀疏性扩展线性RNN的状态容量

Hugging Face Daily Papers 论文
sparse-memory linear-rnn long-context attention deep-learning nlp efficiency

摘要

Sparse Delta Memory 通过稀疏寻址扩展了门控线性RNN，显著增加了隐藏状态容量，从而在保持计算效率的同时改进了长上下文学习和检索。

线性注意力模型允许每个 token 具有固定的状态大小和固定的计算量。然而，由于状态大小有限，线性注意力模型在长上下文召回方面落后于基于 softmax 注意力的 Transformer 架构。增大线性注意力的状态大小可以提高召回性能，但代价是更高的 FLOPs。在这项工作中，我们引入了 Sparse Delta Memory (SDM)，这是一种通过稀疏寻址方案将门控线性 RNN 的隐藏状态容量提升数个数量级的架构。SDM 扩展了 Gated DeltaNet 架构，用对大型显式存储器的稀疏读写取代了密集的键值外积。我们证明，在 isoFLOP 约束和相同参数数量下，更高的状态存储器容量显著提升了上下文学习和长上下文检索任务的性能。此外，通过学习 SDM 存储器的初始状态并将其用作参数化存储器，我们展示了该模型在一系列常识和推理任务上进一步改进。
查看原文
查看缓存全文

缓存时间: 2026/07/09 15:40

论文页面 - Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity

来源: https://huggingface.co/papers/2607.07386

摘要

Sparse Delta Memory (稀疏增量记忆) 通过稀疏寻址扩展了门控线性 RNN，极大地增加了隐藏状态容量，从而在保持计算效率的同时改善了长上下文学习和检索。

线性注意力模型 (https://huggingface.co/papers?q=Linear%20attention%20models) 允许固定状态大小和每个 token 的固定计算量。然而，由于其有限的状态大小，线性注意力模型在长上下文召回方面落后于基于 softmax 注意力 (https://huggingface.co/papers?q=softmax-attention) 的 Transformer 架构 (https://huggingface.co/papers?q=transformer%20architectures)。增加线性注意力的状态大小可以提高召回性能，但代价是更高的 FLOPs。在这项工作中，我们引入了 Sparse Delta Memory (SDM)，这是一种通过稀疏寻址方案 (https://huggingface.co/papers?q=sparse%20addressing%20scheme) 将门控线性 RNN (https://huggingface.co/papers?q=gated%20linear%20RNNs) 的隐藏状态容量扩展到几个数量级更大的架构。SDM 扩展了 Gated DeltaNet (https://huggingface.co/papers?q=Gated%20DeltaNet) 架构，用稀疏读写到大显式内存 (https://huggingface.co/papers?q=explicit%20memory) 的方式替代了密集的键值外积。我们表明，在等 FLOP 约束下且参数数量相同的情况下，更高的状态内存容量显著改善了上下文学习 (https://huggingface.co/papers?q=in-context%20learning) 和长上下文检索 (https://huggingface.co/papers?q=long-context%20retrieval) 任务的性能。此外，通过学习 SDM 内存的初始状态并因此将其用作参数化内存 (https://huggingface.co/papers?q=parametric%20memory)，我们展示了该模型在广泛常识知识和推理任务上的进一步改进。

查看 arXiv 页面 (https://arxiv.org/abs/2607.07386) 查看 PDF (https://arxiv.org/pdf/2607.07386) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.07386)

在您的智能体中获取此论文：

hf papers read 2607\.07386

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型 README.md 中引用 arxiv.org/abs/2607.07386 以从此页面链接。

引用此论文的数据集 0

没有数据集链接此论文

在数据集 README.md 中引用 arxiv.org/abs/2607.07386 以从此页面链接。

引用此论文的 Spaces 0

没有 Space 链接此论文

在 Space README.md 中引用 arxiv.org/abs/2607.07386 以从此页面链接。

包含此论文的收藏集 1

相似文章

Δ-Mem：大型语言模型的高效在线记忆

Hacker News Top

提出 delta-Mem，一种轻量级在线记忆机制，利用紧凑状态矩阵并通过增量规则学习进行更新，以提升冻结大型语言模型的长上下文性能，无需全量微调或上下文扩展。

Dynamic Linear Attention

Hugging Face Daily Papers

DLA引入了自适应状态合并和容量受限的内存建模，用于多状态线性注意力，提升了长上下文LLM的性能。

动态线性注意力

arXiv cs.CL

本文提出DLA，一种用于多状态线性注意力的动态内存建模框架，它能根据令牌信息变化自适应地合并状态，并维护固定大小的状态缓存，从而在无需标准注意力二次复杂度的前提下实现更好的长上下文表示。