论文页面 - SpectralShift：通过谱重参数化有效扩展门控DeltaNet的上下文窗口

来源：https://huggingface.co/papers/2609.14320

摘要

近年来，线性注意力层在大规模长上下文建模中逐渐取代Softmax注意力。然而，现有的上下文扩展方法通常直接进行持续预训练，而未修改这些线性注意力层，忽略了线性注意力状态动态的谱特性。本研究从转移矩阵的谱视角研究了门控DeltaNet（Gated DeltaNet, GDN）的长上下文扩展，识别出控制长程信息检索的两个关键因素：(1) 足够宽的慢谱带以匹配目标依赖长度；(2) 保留快速衰减模式以实现状态清除和上下文切换。基于这一观察，我们提出了SpectralShift，一种用于GDN长上下文持续预训练的谱重参数化方法。具体而言，SpectralShift对α投影初始化进行重参数化，通过增强慢速传播能力重塑衰减谱，并进一步引入α投影的学习率缩放以促进长上下文训练。实验表明，SpectralShift在训练过程中一致地提升了长上下文能力，为扩展线性注意力模型的上下文窗口提供了高效且有效的解决方案。代码已在https://github.com/RUCAIBox/GDN-SpectralShift开源。

查看arXiv页面 (https://arxiv.org/abs/2609.14320) 查看PDF (https://arxiv.org/pdf/2609.14320) GitHub1 (https://github.com/RUCAIBox/GDN-SpectralShift) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2609.14320)

通过代理获取此论文：

hf papers read 2609\.14320

没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

没有模型链接本文

在模型README.md中引用arxiv.org/abs/2609.14320以从此页面链接到该模型。

引用本文的数据集 0

没有数据集链接本文

在数据集README.md中引用arxiv.org/abs/2609.14320以从此页面链接到该数据集。

引用本文的空间 0

没有空间链接本文

在空间README.md中引用arxiv.org/abs/2609.14320以从此页面链接到该空间。

包含本文的收藏 0

没有收藏包含本文

将本文添加到收藏夹 (https://huggingface.co/new-collection) 以从此页面链接到该收藏。