context-window-extension

标签

#context-window-extension

谱移（SpectralShift）：通过谱重参数化有效扩展门控 DeltaNet 的上下文窗口

Hugging Face Daily Papers ↗ · 6天前缓存

谱移引入了一种谱重参数化方法，通过重塑衰减谱来有效扩展门控 DeltaNet 模型的上下文窗口，并通过持续预训练提升其长上下文处理能力。

0 人收藏 0 人点赞

← 返回首页

提交意见反馈