论文页面 - 历史重演：释放线性注意力中的长上下文能力

来源：https://huggingface.co/papers/2610.15715 作者：

,

,

,

,

,

,

,

,

,

,

摘要

NoteBank 通过一个稀疏情景记忆为线性注意力模型提供支持，该记忆存储选定的文本并通过原生计算进行回放，在无需额外训练或显著开销的情况下大幅提升了长上下文检索能力。

线性注意力（https://huggingface.co/papers?q=Linear%20attention）有望为长上下文语言建模提供所需的效率，但其固定大小的循环状态（https://huggingface.co/papers?q=recurrent%20state）必须同时承担持续的计算任务并保留不断增长的历史信息。这种耦合强化了一种普遍观点：状态的记忆容量决定了模型的长上下文能力。我们挑战了这一预设的上限：循环计算不必承担长期存储的全部重任。我们提出NoteBank（https://huggingface.co/papers?q=NoteBank），一种稀疏情景记忆（https://huggingface.co/papers?q=sparse%20episodic%20memory），它在未来的查询出现之前归档选定的文本，利用骨干模型的原生特征进行写入和寻址，并通过回放机制在其原生前向计算中读取检索到的证据。这一免训练、即插即用的接口无需外部嵌入模型、单独训练的检索器或独立的神经阅读器。在一百万 token 的长度下，它将Gated DeltaNet（https://huggingface.co/papers?q=Gated%20DeltaNet）在六项RULER（https://huggingface.co/papers?q=RULER）检索任务上的平均准确率从 1.7% 提升至 70.3%，且在 4K 到 1M token 范围内未观察到明显的检索性能退化。这一恢复仅增加 ≤0.025% 的理论 FLOPs，持久上下文存储约为同等宽度、深度和精度下 Transformer 完整 MHA KV 缓存的 1/2,600。实验从三个 1.3B 循环骨干模型扩展到Mamba-2（https://huggingface.co/papers?q=Mamba-2）-8B 和后训练的 Qwen3.5-9B，在LongBench（https://huggingface.co/papers?q=LongBench）v1/v2 和MemoryAgentBench（https://huggingface.co/papers?q=MemoryAgentBench）上均展示了性能增益。这些结果共同表明，稀疏证据存储与原生回放能够在保留循环计算效率的同时，显著扩展预训练线性注意力（https://huggingface.co/papers?q=linear%20attention）模型的长上下文能力。

查看 arXiv 页面（https://arxiv.org/abs/2610.15715）查看 PDF（https://arxiv.org/pdf/2610.15715）项目主页（https://nanboli.github.io/notebank-page）添加到收藏夹（https://huggingface.co/login?next=%2Fpapers%2F2610.15715）

在您的 agent 中获取此论文：

hf papers read 2610.15715

还没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型 0

没有模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2610.15715 即可在此页面上建立链接。

引用此论文的数据集 0

没有数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2610.15715 即可在此页面上建立链接。

引用此论文的 Space 0

没有 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2610.15715 即可在此页面上建立链接。

包含此论文的合集 0

没有合集包含此论文

将此论文添加到合集（https://huggingface.co/new-collection）即可在此页面上建立链接。