论文页面 - Virtual Head Attention

来源：https://huggingface.co/papers/2610.17959

摘要

Virtual Head Attention 通过在保持质量不变的前提下，借助轻量级的线性 query 与输出变换来减少 KV cache 和计算量，从而提升长上下文模型的效率。

长上下文大语言模型 (https://huggingface.co/papers?q=long-context%20large%20language%20models) 中注意力机制 (https://huggingface.co/papers?q=attention%20mechanisms) 的设计在 KV cache (https://huggingface.co/papers?q=KV%20cache) 大小、训练与预填充 FLOPs、以及模型质量这三者之间面临一个“不可能三角“。GQA (https://huggingface.co/papers?q=GQA) 能取得优异的质量，但 KV cache (https://huggingface.co/papers?q=KV%20cache) 开销很高；MLA 和 MFA 等替代方案可以压缩缓存，但 MLA 会损失质量，而 MFA 则大幅增加了训练与预填充的计算量。我们提出 Virtual Head Attention (https://huggingface.co/papers?q=Virtual%20Head%20Attention)（VHA），通过两个轻量级线性操作同时改善三角的所有三个顶点：Q Premix (https://huggingface.co/papers?q=Q%20Premix) 对每个 KV 组内的 query 施加一个近似恒等的变换，从而在物理 query head 数量减半的情况下恢复虚拟 head 的多样性；Linear Postmix (https://huggingface.co/papers?q=Linear%20Postmix) 则通过低秩的 I + AB^⊤ 残差结构融合跨 head 特征。由于 VHA 不引入任何非线性操作，推理时 Premix 可以被折叠进 query 投影、Postmix 可以被折叠进输出投影，使模型退化为标准的 GQA (https://huggingface.co/papers?q=GQA)-2 架构，从而直接复用所有已有的 GQA (https://huggingface.co/papers?q=GQA) 推理优化。仅使用两个 KV head 时，大模型中的组大小很容易达到 64，在解码阶段充分利用 Tensor Core (https://huggingface.co/papers?q=Tensor%20Core) 并行能力。在四个规模上进行 4K 上下文、50B token 的预训练后，VHA 在每个规模上都稳定优于标准 GQA (https://huggingface.co/papers?q=GQA) 基线（+0.05% 到 +0.81%），同时在稠密规模上将 KV cache (https://huggingface.co/papers?q=KV%20cache) 相比 GQA (https://huggingface.co/papers?q=GQA)-8 减少 4 倍，在 MoE (https://huggingface.co/papers?q=MoE) 规模上相比 GQA (https://huggingface.co/papers?q=GQA)-4 减少 2 倍，并将训练与预填充 FLOPs 降低 7.9%（1.7B，S = 4096）。在一个工业级 30B-A3B MoE (https://huggingface.co/papers?q=MoE) 模型上（8K 上下文、500B token 训练），VHA 在 12 项基准的基础模型评测中分别超过 MLA 和 GQA (https://huggingface.co/papers?q=GQA)-4 达 +0.70%、+2.60%；在另一组匹配的 10B-A1B MoE (https://huggingface.co/papers?q=MoE) 对比中（经长上下文中期训练后），VHA 在 8K–128K 范围内的 RULER 平均得分达到 84.4，而 GQA (https://huggingface.co/papers?q=GQA) 为 73.0，且其全注意力层仅使用两个 KV head 而非四个。

查看 arXiv 页面 (https://arxiv.org/abs/2610.17959) 查看 PDF (https://arxiv.org/pdf/2610.17959) GitHub3 (https://github.com/PaddlePaddle/VHA) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.17959)

在你的智能体中获取此论文：

hf papers read 2610.17959

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

没有模型链接本文

在模型的 README.md 中引用 arxiv.org/abs/2610.17959 即可从本页面链接过去。

引用本文的数据集 0

没有数据集链接本文

在数据集的 README.md 中引用 arxiv.org/abs/2610.17959 即可从本页面链接过去。

引用本文的 Space 0

没有 Space 链接本文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.17959 即可从本页面链接过去。

包含本文的合集 0

没有合集包含本文

将本文添加到合集 (https://huggingface.co/new-collection) 即可从本页面链接过去。