论文页面 - 分组查询专家：GQA自注意力中的混合专家机制

来源：https://huggingface.co/papers/2606.20945

摘要

分组查询专家（GQE）通过根据令牌内容选择性激活查询头，同时保持分组查询注意力的键值缓存优势，从而提升了Transformer的效率。

自注意力（https://huggingface.co/papers?q=Self-attention）是Transformer（https://huggingface.co/papers?q=Transformer）性能的核心，在长上下文长度下往往成为Transformer（https://huggingface.co/papers?q=Transformer）最昂贵的部分，因为其成对令牌交互（https://huggingface.co/papers?q=token%20interactions）的计算量随序列长度呈二次方增长。标准密集注意力还会对每个令牌应用相同的注意力头（https://huggingface.co/papers?q=attention%20heads），而不考虑令牌的难度或信息含量。这种均匀激活会浪费计算资源，尤其在序列变长、注意力成本（https://huggingface.co/papers?q=attention%20cost）迅速增加时更为明显。我们提出了分组查询专家（GQE），这是一种在分组查询注意力（https://huggingface.co/papers?q=grouped-query%20attention）（GQA）之上构建的混合专家（https://huggingface.co/papers?q=mixture-of-experts）层。在每个GQA分组内，路由器（https://huggingface.co/papers?q=router）为每个令牌选择k个查询头专家（https://huggingface.co/papers?q=query-head%20experts），而所有键值（KV）头保持密集且不变。因此，GQE保留了GQA的KV缓存优势，仅减少活跃的查询头计算量。在250M参数规模下，以固定300亿令牌预算训练，GQE在下游准确率上与全活跃的GQA基线持平，同时每个令牌只激活一半的查询头。

查看arXiv页面（https://arxiv.org/abs/2606.20945）查看PDF（https://arxiv.org/pdf/2606.20945）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.20945）

在您的智能体中获取此论文：

hf papers read 2606\.20945

没有最新的CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型关联此论文

在模型的README.md中引用arxiv.org/abs/2606.20945即可从此页面链接。

引用此论文的数据集0

没有数据集关联此论文

在数据集的README.md中引用arxiv.org/abs/2606.20945即可从此页面链接。

引用此论文的Space应用0

没有Space应用关联此论文

在Space应用的README.md中引用arxiv.org/abs/2606.20945即可从此页面链接。

包含此论文的收藏集0

没有收藏集包含此论文

将本论文添加到收藏集（https://huggingface.co/new-collection）即可从此页面链接。