Paper page - 长上下文混合模型机制 Part 1.1：从混合注意力到混合位置

Source: https://huggingface.co/papers/2610.10114

Abstract

大型语言模型（LLM）的架构设计正在从传统的纯全注意力模型转向混合模型，这类模型通过组合不同的注意力模块来提升长上下文效率以及长度外推和上下文扩展方面的性能。为了解释混合模型为何有效以及如何更好地设计它们，我们提出了「长上下文混合模型机制」（Mechanics of Long-Context Hybrid Models）系列。作为本系列的 Part 1.1，我们从全注意力与滑动窗口注意力（SWA）或门控线性注意力（LA）变体的混合开始研究，其中 LA 的代表包括 GLA 和 GDN。我们首先观察到上下文扩展中的「跷跷板效应」（Seesaw Effect）：LA 混合模型从长上下文持续预训练中获益更多，而 SWA 混合模型在长度外推场景下表现更好。我们将这一行为归因于这些注意力机制所引入的位置归纳偏置（positional inductive biases）的差异。我们发现 SWA 混合模型会陷入「短上下文学习陷阱」（Short-Context Learning Trap），表现出「短窗口疲劳」（Short-Window Weariness）与「长窗口懒惰」（Long-Window Laziness），并且需要更长的窗口才能在持续长上下文预训练中提升性能。对于 LA 混合模型，我们总结了「混合位置外推的马太效应」（Matthew Effect of Hybrid Position Extrapolation），并提出了 Sliding-Window Linear Attention，实现了 16 倍的免训练长度外推，同时在 64k 上下文长度下于 NIAH-SK1 上保持 100% 准确率。

View arXiv page (https://arxiv.org/abs/2610.10114)View PDF (https://arxiv.org/pdf/2610.10114)GitHub2 (https://github.com/OpenMOSS/Hybrid-Mechanics)Add to collection (https://huggingface.co/login?next=%2Fpapers%2F2610.10114)

Get this paper in your agent:

hf papers read 2610.10114

Don’t have the latest CLI?curl -LsSf https://hf.co/cli/install.sh | bash

Models citing this paper0

No model linking this paper

Cite arxiv.org/abs/2610.10114 in a model README.md to link it from this page.

Datasets citing this paper0

No dataset linking this paper

Cite arxiv.org/abs/2610.10114 in a dataset README.md to link it from this page.

Spaces citing this paper1

Collections including this paper0

No Collection including this paper

Add this paper to acollection (https://huggingface.co/new-collection)to link it from this page.