论文页面 - Multi-Stream Attention Residuals

来源：https://huggingface.co/papers/2610.13630

摘要

AttentionResiduals（AttnRes）实现了沿网络深度维度的内容相关检索，可以视为沿深度轴的单流 softmax 注意力。受多头注意力在序列轴上成功应用的启发，我们提出了 Multi-Stream Attention Residuals（MSAR），它是 AttnRes 的一种扩展，将该机制推广到多头深度注意力，在开销极小的前提下带来了显著的性能提升。MSAR 通过多尺度因果卷积从序列上下文中汲取流的多样性，使不同头能够从不同的上下文视角检索历史表示，同时保持隐层表示的完整性。检索得到的各流通过轻量级自适应混合合并，生成单流的层输入。通过保留单流来源并按需将其展开，MSAR 无需常驻的多流存储或通信即可支持多流计算。在 18B 和 28B 两个 MoE 规模的全部 12 个下游基准上，MSAR 均持续优于以往的残差变体，包括标准残差连接、流形约束 Hyper-Connections（mHC）以及 AttnRes。缩放定律实验表明，与标准残差基线相比，MSAR 在等损失（iso-loss）下实现了 1.58 倍的计算加速，而 AttnRes 和 mHC 分别为 1.35 倍和 1.30 倍。这些结果使 MSAR 成为大规模预训练中颇具前景的残差架构。

查看 arXiv 页面 (https://arxiv.org/abs/2610.13630)　查看 PDF (https://arxiv.org/pdf/2610.13630)　GitHub2 (https://github.com/jianke0604/MSAR)　添加到收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2610.13630)

在你的 agent 中获取这篇论文：

hf papers read 2610.13630

还没有最新版 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 0

暂无模型关联本文

在模型的 README.md 中引用 arxiv.org/abs/2610.13630，即可从此页面链接到它。

引用本文的数据集 0

暂无数据集关联本文

在数据集的 README.md 中引用 arxiv.org/abs/2610.13630，即可从此页面链接到它。

引用本文的 Spaces 0

暂无 Space 关联本文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.13630，即可从此页面链接到它。

收录本文的收藏集 0

暂无收藏集收录本文

将本文添加到收藏集 (https://huggingface.co/new-collection)，即可从此页面链接到它。