魔鬼在于频谱：通过拓扑正则化侧路径缓解LLM中的表示坍缩

# 魔鬼藏在谱域中：通过拓扑正则化旁路缓解大语言模型的表示坍缩  
来源：https://arxiv.org/html/2607.20484  

###### 摘要  

大语言模型（LLMs）本质上受限于表示坍缩（representation collapse），这一瓶颈严重削弱了长上下文性能。我们发现现有方法往往滑向两种病理极端之一：同质化坍缩（例如，注意力汇聚导致秩亏）和隔离坍缩（例如，局部注意力导致上下文断裂）。通过对注意力动力学的谱分析，我们推导出混合效率（谱隙）与信息容量（有效秩）之间存在内在权衡，而标准机制难以平衡这一权衡。为解决这一困境，我们提出拓扑正则化旁路（Topologically Regularized Side-Path, TRSP），这是一种非侵入式架构干预，可实现谱平衡。TRSP采用无参数的三角盒机制（Triangular Box），通过轻量级、长度感知的门控缩放，对令牌交互拓扑进行正则化。通过整合保持有效秩的近端耦合与支持非退化混合的远端传播，TRSP在不改变核心注意力机制的前提下，促进了几何上更健康的转移算子。实验表明，在通用能力和长上下文基准上均有显著提升。值得注意的是，在训练长度8倍的NoLiMa测试中，TRSP保持了83%的准确率，分别超越Differential Transformer和Gated Attention约30和50个百分点。代码见：https://github.com/Eziotao-tyd/TRSP。  

机器学习，ICML  
参见说明  
图1：表示坍缩分析。(a) 令牌相似度S。注意力可能退化为同质化坍缩（令牌不可区分）或隔离坍缩（上下文失败）。(b) 转移算子M。同质化可能源于过度混合或注意力汇聚，而隔离源于局部注意力。(c) 拓扑连通性。这些病理分别来源于全连接/中心化的星形图与不连通图。通过应用谱引导的拓扑正则化，我们的方法构建了一个非退化的转移算子M，有效缓解了表示坍缩。  

参见说明  
图2：通过拓扑正则化实现谱平衡。(a) 谱权衡。对M的分析揭示了信息容量（以有效秩Reff衡量）与混合效率（以谱隙γ衡量）之间的内在权衡。图1中的模式坍缩为同质化（高γ，低Reff）或隔离（低γ，高Reff）。我们需要谱平衡来解决这一困境。(b) 我们引入拓扑正则化旁路（TRSP）作为非侵入式正则化器。它诱导一种拓扑结构：浅层中的近端交互保留特征独特性（秩保持），而深层中的远端传播支持全局混合（隙保持）。  

## 1 引言  

大语言模型（LLMs）实现了强大的自然语言理解与生成，但受到表示坍缩这一基本病理的影响。通过分析信息如何在Transformer中传播的研究（Dong et al., 2021; Noci et al., 2022; Wu et al., 2024; Barbero et al., 2024; Saada et al., 2025）已识别出该问题：随着上下文长度增加（宽度方向），注意力机制的反复混合（深度方向）将令牌表示推向低维、无信息空间。与这些理论发现并行，实证研究探索了应对措施。首先，普遍存在的注意力汇聚现象（Xiao et al., 2024; Gu et al., 2025）——即大量注意力权重分配给初始或特殊令牌——被解释为一种阻止上述过度混合的自然机制（Barbero et al., 2025）。其次，基于局部或滑动窗口注意力的架构设计（Jiang et al., 2023; Team et al., 2024; Beltagy et al., 2020; Child, 2019）限制了每层的感受野以降低长上下文注意力的成本，从而限制了令牌混合的直接范围。我们认为这两种措施在避免一种失败模式的同时付出了另一种代价。在统一的谱视角下，我们将这些现象归类为表示坍缩的两种病理极端：(1) 同质化坍缩（例如，过度混合或注意力汇聚），其特征在于有效秩极低（Wu et al., 2024）；(2) 隔离坍缩，其特征在于上下文连贯性极低（Ethayarajh, 2019），混合无法桥接远距离令牌（例如，截断的局部注意力）。我们在图1中可视化了这些病理。首先，(a)中的令牌相似度矩阵显示，令牌要么退化为不可区分的噪声（同质化），要么无法捕获上下文（隔离）。其次，我们将此追溯到(b)中的转移算子M，其中Xout = M · Xin。同质化模式表现为密集或汇聚主导的算子，而隔离则对应于带状算子。这两种模式都无法支持有效的信息流动。第三，(c)中的层间拓扑分析将这些行为与令牌连通性联系起来：同质化源于全连接或中心化的星形图，而隔离源于不连通图。  

这引发了一个更基本的问题：何种谱条件能表征非退化的算子M，以及为什么标准机制无法同时满足这些条件？为解决此问题，我们通过奇异值分解分析行归一化算子M的谱性质，如图2(a)所示。我们使用两个希望最大化的指标：有效秩（Reff = ∑σ_i^2）（Rudelson and Vershynin, 2007; Roy and Vetterli, 2007），通过奇异值分布尾部的重尾程度衡量信息容量；以及谱隙（γ = 1 - σ_2），通过主导奇异值的分离度衡量混合效率。¹我们推导出它们之间的内在关系：  
Reff = 1 + (1 - γ)^2 + ∑_{i=3}^N σ_i^2。  
这揭示了一个基本的谱权衡：最大化γ必然抑制Reff，除非显式保留尾部（∑_{i=3}^N σ_i^2）。经验上，模型常常陷入这一困境：同质化（高γ，低Reff），强混合使流形坍缩；或隔离（低γ，高Reff），弱混合保持维度但阻碍传播。  

为解决这一权衡并瞄准谱平衡（即联合改善Reff和γ而不滑向任一极端），我们提出拓扑正则化旁路（Topologically Regularized Side-Path, TRSP）。我们保留标准注意力计算，并为转移算子增加一个加性旁路。该设计在不破坏核心注意力机制的情况下注入拓扑正则化。TRSP强制执行一种层次结构，结合近端耦合（保留尾部和Reff）与远端捷径（支持高γ）。具体来说，TRSP引入两个关键组件：(1) 三角盒（“triBox”）机制，一种无参数算子，通过级联因果盒滤波器与指数带宽扩展实现。它在各层之间创建从近端交互到远端连接的无缝尺度转换。(2) 长上下文门控，一种轻量级增益控制器。该门控仅需约50个可学习参数，通过覆盖率从上下文长度和层深度调节旁路强度，跨尺度校准triBox注入。  

我们进行了广泛的实验，评估了训练后场景中的通用能力（MMLU（Hendrycks et al., 2021）、HellaSwag（Zellers et al., 2019）），以及在训练前和训练后设置中的长上下文外推能力（RULER（Hsieh et al., 2024）、NoLiMa（Modarressi et al., 未标注））。我们的结果证实TRSP有效纠正了谱异常，并持续优于强基线。值得注意的是，在NoLiMa上，TRSP在训练长度8倍时保持了83%的准确率，分别超越Differential Transformer（Ye et al., 2025）和Gated Attention（Qiu et al., 2026）约30和50个百分点。  

## 2 相关工作  

### 2.1 表示坍缩与谱分析  

先前工作沿两个互补轴分析了Transformer的表示坍缩：层深度和上下文长度。  
沿深度轴，Dong等人（2021）表明纯注意力随着深度增加以双指数速度丢失秩，将表示推向秩1子空间。这一病理与梯度消失、信号传播失败以及表示退化相关联（Noci et al., 2022; He et al., 2023; Wu et al., 2024; Geshkovski et al., 2025; Saada et al., 2025; Gao et al., 2019）。这一现象与图神经网络中的过平滑现象类似（Keriven, 2022; Wu et al., 2023），并在Transformer中被显式形式化：自注意力表现为低通滤波器，在各层之间同化特征（Shi et al., 2022; Wang et al., 2022; Nguyen et al., 2023）。一个互补的视角表明，这种平滑是否不可避免取决于值和投影权重的特征谱，从而为结构干预留下了空间（Dovonon et al., 2024）。  
沿长度轴，Veličković等人（2025）表明，在有界logit假设下，增加上下文长度可能驱动softmax注意力走向均匀混合，而Barbero等人（2024）识别出因果架构中的过压缩病理：单向信息流使得不同序列的最终令牌表示任意接近。这些研究主要通过谱和几何工具诊断坍缩（Roy and Vetterli, 2007; Pennington et al., 2017; Ethayarajh, 2019），或尝试通过对注意力掩码、归一化或权重的针对性修改来缓解。我们则 (i) 将这些同质化现象（包括深度和长度方向）与隔离坍缩的对立极端统一为有效秩和谱隙之间的单一权衡，并 (ii) 提出一个显式的拓扑正则化器以同时平衡两者。  

### 2.2 长上下文建模与注意力汇聚  

长上下文建模仍然是LLMs的核心关注点，因为模型常常表现出位置依赖的上下文利用，对长序列中间位置的信息处理更差（Liu et al., 2024b）。  
架构与计算方法。早期工作探索了循环机制（Dai et al., 2019）或稀疏注意力模式，包括Sparse Transformer（Child, 2019）、Longformer（Beltagy et al., 2020）和BigBird（Zaheer et al., 2020）。近期进展集中于高效计算，包括FlashAttention及其后续（Dao et al., 2022; Shah et al., 2024）和Ring Attention（Liu et al., 2024a），以及KV缓存压缩技术（Zhang et al., 2023; Ge et al., 2024; Wu and Tu, 2024）。位置编码与扩展策略如ALiBi（Press et al., 2022）、RoPE（Su et al., 2024）和YaRN（Peng et al., 2024）促进了长度外推，但与我们关注的谱退化基本正交。  
除了softmax注意力Transformer，替代架构如状态空间模型（Gu and Dao, 2024）和基于循环的线性模型（Peng et al., 2023）用次二次基元替代注意力；在本工作中，我们专注于改进标准softmax注意力Transformer的谱行为，而非替换它。  
注意力汇聚与注意力修改。注意力汇聚现象（Xiao et al., 2024），即大量权重分配给初始令牌，引发了竞争性解释。一条工作线将汇聚视为与大规模激活（Sun et al., 2024）、激活异常值（Kaul et al., 2025）或softmax引起的首令牌偏差（Gu et al., 2025）相关的病理伪影，并提出了通过softmax重新公式化（如sigmoid注意力（Ramapuram et al., 20...））来缓解的方法。  

（注：原文在“Ramapuram et al., 20”处截断，翻译时保留原样。）