论文页面 - 通过方向分解解耦Transformer中的表征演化

来源：https://huggingface.co/papers/2609.15975

摘要

Transformer的表征通过学习到的加性变换演化，这些变换要么保持当前方向，要么改变其方向。我们将这种演化视为一种功能几何，将学习到的更新分解为平行分量和垂直分量。跨预训练模型，我们发现除了残差恒等路径之外，还存在大量的平行分量。随后，我们在两个空间中应用此分解：针对隐藏状态的注意力和MLP更新，以及针对当前令牌值的注意力值聚合。定向编辑揭示了强烈的空间依赖不对称性：排除自身值空间平行操控比残差空间和垂直操控更稳健，在仅缩放非自身聚合的同时保持直接自身消息。同样的分解为压缩引起的更新误差提供了分量解析描述：垂直误差比平行误差更清晰地区分压缩方法。大量实验进一步表明，在从零开始的预训练过程中抑制完整聚合平行分量能降低验证损失轨迹并改善下游平均性能，其中值空间变体效果最强。这些结果共同将表征几何与编辑稳健性、压缩诊断和训练时干预联系起来。代码可在项目仓库获取：https://github.com/Shwai-He/Transformer-Geometry。

查看arXiv页面 (https://arxiv.org/abs/2609.15975)查看PDF (https://arxiv.org/pdf/2609.15975)项目页面 (https://shwai-he.github.io/Transformer-Geometry/)GitHub (https://github.com/Shwai-He/Transformer-Geometry)添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2609.15975)

引用本文的模型 0

无模型链接此论文。

在模型README.md中引用 arxiv.org/abs/2609.15975 以从此页面链接。

引用本文的数据集 0

无数据集链接此论文。

在数据集README.md中引用 arxiv.org/abs/2609.15975 以从此页面链接。

引用本文的空间 0

无空间链接此论文。

在空间README.md中引用 arxiv.org/abs/2609.15975 以从此页面链接。

包含本文的收藏 0

无收藏包含此论文。

将本文添加到收藏以从此页面链接 (https://huggingface.co/new-collection)。