long-context-modeling

标签

#long-context-modeling

谱移（SpectralShift）：通过谱重参数化有效扩展门控 DeltaNet 的上下文窗口

Hugging Face Daily Papers ↗ · 5天前缓存

谱移引入了一种谱重参数化方法，通过重塑衰减谱来有效扩展门控 DeltaNet 模型的上下文窗口，并通过持续预训练提升其长上下文处理能力。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈