论文页面 - 变形为混合注意力模型

来源：https://huggingface.co/papers/2606.30562

摘要

FlashMorph 是一种高效的层选择方法，它将混合层选择形式化为一个受预算约束的优化问题，利用可变形模型和线性化正则化来提升 Transformer 在长上下文场景下的效率。

混合注意力模型 (https://huggingface.co/papers?q=Hybrid%20attention%20models) 通过仅保留部分全注意力层 (https://huggingface.co/papers?q=full-attention%20layers) 并用线性注意力 (https://huggingface.co/papers?q=linear%20attention) 替换其余层，从而提升长上下文效率。然而，Transformer 到混合模型转换 (https://huggingface.co/papers?q=Transformer-to-hybrid%20conversion) 的有效性关键取决于哪些层保留全注意力。现有的混合层选择方法通常依赖启发式策略，如固定放置模式或逐层评分，隐式地将层重要性视为孤立因素，忽略了全局混合配置下的层间相互影响。在这项工作中，我们将混合层选择形式化为一个受预算约束的子集优化问题 (https://huggingface.co/papers?q=subset%20optimization%20problem)。我们进一步提出 FlashMorph（快速混合变形的层选择方法），一种用于 Transformer 到混合模型转换 (https://huggingface.co/papers?q=Transformer-to-hybrid%20conversion) 的高效、可扩展的层选择方法。FlashMorph 首先通过为每个全注意力层配备一个已转换的线性注意力分支来构建可变形模型 (https://huggingface.co/papers?q=morphable%20model)。然后冻结所有模型权重，在合成长上下文检索数据 (https://huggingface.co/papers?q=synthetic%20long-context%20retrieval%20data) 上联合优化逐层门控 (https://huggingface.co/papers?q=layerwise%20gates)，并采用线性化正则化 (https://huggingface.co/papers?q=linearization%20regularization) 鼓励模型依赖线性注意力 (https://huggingface.co/papers?q=linear%20attention) 以提高效率。学习到的门控在预设的全注意力预算下进行离散化，以实例化混合架构，随后进行标准的 logits 蒸馏 (https://huggingface.co/papers?q=logits%20distillation) 和长上下文微调 (https://huggingface.co/papers?q=long-context%20finetuning)。大量实验表明，FlashMorph 能发现更有效的混合配置，在保持强大的长上下文召回率和通用基准性能的同时，与现有层选择方法相比大幅降低了层选择成本，证明了其有效性、高效性和可扩展性。

查看 arXiv 页面 (https://arxiv.org/abs/2606.30562)查看 PDF (https://arxiv.org/pdf/2606.30562)GitHub4 (https://github.com/LanDisen/FlashMorph)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.30562)

在您的 agent 中获取此论文：

hf papers read 2606\.30562

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型关联此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.30562 以从此页面链接。

引用此论文的数据集0

没有数据集关联此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.30562 以从此页面链接。

引用此论文的 Spaces0

没有 Space 关联此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.30562 以从此页面链接。

包含此论文的合集0

没有合集包含此论文

请将此论文添加到合集 (https://huggingface.co/new-collection) 中以从此页面链接。