论文页面 - Delta Attention Residuals

来源：https://huggingface.co/papers/2605.18855

摘要

Delta Attention Residuals 通过关注特征变化（而非累积状态）来改进逐层路由，使得注意力分布更优，模型在不同规模下的性能也得以提升。

Attention Residuals（https://huggingface.co/papers?q=Attention%20Residuals）用学习到的 softmax 注意力替代标准加法残差连接，对前一层输出进行选择性跨层路由（https://huggingface.co/papers?q=cross-layer%20routing）。然而，标准的 Attention Residuals（https://huggingface.co/papers?q=Attention%20Residuals）仍然关注前几层的累积隐藏状态，而这些状态高度冗余。我们证明，这种冗余会导致深层中的路由坍塌（https://huggingface.co/papers?q=routing%20collapse）：注意力权重（https://huggingface.co/papers?q=attention%20weights）变得对比度低且趋于均匀（最大权重 {approx}0.2），限制了模型选择前层中信息丰富状态的能力。这引出了一个关键但尚未充分探索的设计问题：在 Attention Residuals（https://huggingface.co/papers?q=Attention%20Residuals）中应该路由何种逐层表示？为回答这个问题，我们提出 Delta Attention Residuals（https://huggingface.co/papers?q=Attention%20Residuals），它关注的是增量——即每个子层引入的变化（v_i = h_{i+1} - h_i）——而非累积状态。Delta 表示（https://huggingface.co/papers?q=Delta%20representations）在结构上具有多样性，并能产生更高对比度的注意力分布（最大权重 {approx}0.6），从而在层间实现更具选择性和更有效的路由。该原则既适用于单子层粒度，也适用于块粒度（https://huggingface.co/papers?q=block%20granularity）。在所有测试的规模（220M‒7.6B）上，Delta Attention Residuals（https://huggingface.co/papers?q=Attention%20Residuals）始终优于标准残差和 Attention Residuals（https://huggingface.co/papers?q=Attention%20Residuals），验证困惑度（https://huggingface.co/papers?q=validation%20perplexity）提升 1.7‒8.2%。Delta Attention Residuals（https://huggingface.co/papers?q=Attention%20Residuals）还能通过标准微调（https://huggingface.co/papers?q=fine-tuning）将预训练检查点（https://huggingface.co/papers?q=pretrained%20checkpoints）转换为 Delta Attention Residuals（https://huggingface.co/papers?q=Attention%20Residuals）。代码已开源：https://github.com/wdlctc/delta-attention-residuals-code。

查看 arXiv 页面（https://arxiv.org/abs/2605.18855）查看 PDF（https://arxiv.org/pdf/2605.18855）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2605.18855）

在您的代理中获取此论文：

hf papers read 2605.18855

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

尚无模型关联此论文

请在模型 README.md 中引用 arxiv.org/abs/2605.18855 以从本页链接到该模型。

引用此论文的数据集0

尚无数据集关联此论文

请在数据集 README.md 中引用 arxiv.org/abs/2605.18855 以从本页链接到该数据集。

引用此论文的 Space0

尚无 Space 关联此论文

请在 Space README.md 中引用 arxiv.org/abs/2605.18855 以从本页链接到该 Space。

包含此论文的收藏集0

尚无收藏集包含此论文

请将此论文添加到收藏集（https://huggingface.co/new-collection）中以从本页链接到该收藏集。