针对临界深度平衡模型的响应重整化

# 用于临界深度平衡模型的响应重整化
来源：https://arxiv.org/html/2608.23725

Jose Luis Lima de Jesus Silva
隶属：联邦大学地球物理系，巴伊亚州萨尔瓦多，巴西
隶属：巴伊亚州萨尔瓦多，巴西，邮编 40170-115
隶属：巴西联邦大学地球物理人工智能研究与应用小组（GAIA），巴伊亚州萨尔瓦多，巴西，邮编 40170-115
电子邮箱：[[email protected]](mailto:)

###### 摘要

深度平衡模型（DEQs）通过寻找在模型更新下保持不变的隐式表示来计算预测。通过这种平衡进行训练使用隐式微分，该方法需要求解由残差雅可比矩阵构建的伴随系统。如果该雅可比矩阵在损失敏感的方向上近似奇异，小扰动可能会在伴随响应中被强烈放大，产生大且高度敏感的梯度，从而使优化变得不可靠。我们引入了响应重整化（Response Renormalization），这是一种反向传播框架，它提升选定的近极点分母，同时保持未提升的响应通道不变。集体模式响应重整化（CMR）在低维临界子空间中应用此校正，而自适应CMR（Phi-adaptive CMR）根据规定的正易感性规则计算有界的响应质量。我们推导了稠密和无矩阵的集体公式，区分了修改的冻结锚点残差的精确梯度与反向响应代理梯度，并将该构造扩展到结构化隐式层和向量吸引子（SILVA）。在涵盖偏微分方程、三维场、算子映射、复杂几何和粒子系统的23个多物理场族中，使用CMR和Phi-CMR训练的模型在超过98%的静态和95%的瞬态族-种子比较中，测试误差比使用精确隐式微分训练的模型高出不超过百分之五。求解器索引实验还显示有限响应收敛到静态伴随，而物理时间推进在评估条件下保持了预测保真度。这些结果表明，选择性响应重整化可以在不全局抑制条件良好的敏感性的情况下，控制近临界伴随放大。因此，该方法可以使参数更新更可靠，同时保留学习所需的有效梯度信息。

*关键词* 深度平衡模型 · 隐式微分 · 响应理论 · 奇异值 · 重整化

## 1 引言

现代隐式层用方程的解替代有限的计算图，而深度平衡模型（DEQs）通过隐藏的不动点 z⋆=fθ(z⋆,x) 实例化了这一思想。因此，有效深度由求解器决定，而不是由显式存储的层堆栈决定（Bai et al., 2019），这使得DEQs属于更广泛的隐式深度学习框架（El Ghaoui et al., 2021）。相同的定点原理现在支持多尺度视觉模型（Bai et al., 2020）、用于偏微分方程（PDE）解映射的稳态神经算子（Marwah et al., 2023），以及用于迭代计算的平衡算法推理器（Georgiev et al., 2024），这使得隐式层具有吸引力，因为有用的特征可以在许多循环交互中涌现，而无需预先声明有限的深度。

这种建模优势造成了训练瓶颈，因为定点学习仍然依赖于线性化敏感性问题，其条件数可能主导参数更新。现有方法使用雅可比惩罚（Bai et al., 2021）、单调网络（Winston and Kolter, 2020）、初始化分析（Agarwala and Schoenholz, 2022）、幻影梯度（Geng et al., 2021）、标准化TorchDEQ求解器（Geng and Kolter, 2023）或可逆性（McCallum et al., 2025），但并未在保留信息性平衡敏感性的同时直接控制逆响应。

此背景下未解决的问题是几何性的，因为隐式微分通过伴随方程替代了展开的反向传播，避免存储前向求解器轨迹，而伴随方程的条件数取决于残差雅可比矩阵如何拉伸、压缩和旋转隐藏状态空间中的方向。令 z⋆ 表示输入 x 的平衡隐藏状态，fθ 为带参数 θ 的模型更新，L 为损失。残差雅可比矩阵 K、平衡态损失梯度 g 和伴随向量 v 满足：

K⊤v=g, K=I−∂zfθ(z⋆,x), g=∇z⋆L. (1)

在奇异值分解 K=UΣV⊤ 中，U 的列 u_i 和 V 的列 v_i 分别是左、右奇异向量，Σ 的对角元素 σ_i 是奇异值。逆响应为 v=UΣ⁻¹V⊤g=∑_i (v_i⊤g / σ_i) u_i. (2)

公式 (2) 将 v_i⊤g 识别为损失源在模式 i 上的投影，1/σ_i 为其放大因子。对于非正规线性化算子（JJ⊤≠J⊤J），特征值无法捕捉这种源-极点几何，因为即使特征值表现良好，不同的输入和输出方向也可能强烈放大扰动（Trefethen and Embree, 2005）。相同的几何将DEQ训练与经典不适定逆问题和数值线性代数联系起来，因为伪逆使奇异线性响应有定义（Ben-Israel and Greville, 2003），吉洪诺夫正则化通过用公共正则化参数过滤每个奇异方向来给出有限逆（Tikhonov, 1963），以及Krylov方法如广义最小残差法（GMRES）使得在不形成稠密矩阵的情况下求解非对称伴随问题变得实用（Saad and Schultz, 1986）。在此DEQ设置中，所得的有限伴随响应也可能在衰减近奇异分量的同时衰减信息丰富的长程敏感性。

我们通过识别 G₀(0)=K⁻¹ 为离散定点轨迹的零频率响应，以及 v=G₀(0)⊤g 为其伴随作用，来引入响应重整化，以控制损失可见的近奇异放大，同时保留其余响应方向。附录A.1（公式24-35）推导了有限视界极限，并将求解器索引与物理时间分离。响应理论将损失梯度称为源（source），将小奇异分母称为响应极点（response poles），将受控的分母改变称为抵消项（counterterm）（Martin et al., 1973）。Janssen（1976）和De Dominicis（1976）的源-响应构造，以及它们在神经动力学分析中的应用（Schuecker et al., 2016），激发了这一术语。

应用于DEQ时，它们提供了一个有限且明确的程序，用于识别与损失对齐的奇异响应方向，并仅修改它们的不稳定分母，同时在K、K⊤v=g、奇异向量、源投影和修改的分母中保留显式形式。响应重整化旨在保留稳定方向上的原始隐式响应，同时仅使源可见的临界响应有限。它通过集体模式响应重整化（CMR）——一种极点选择性分母提升，以及通过自适应CMR（Phi-CMR）和Delta-Phi（ΔΦ）——结构化的有限响应和源条件门——来实现这一目标，其中稠密和无矩阵形式区分了精确梯度和代理梯度。

我们通过受控机制和源旋转测试选择性，通过Darcy和原生SILVA实验测试学习到的物理预测，并通过13个公共数据集测试跨方程和表示的迁移性¹。扩展部分包括PDEArena（Navier–Stokes 2D, Shallow Water 2D, Maxwell 3D, Kuramoto–Sivashinsky 1D）、DynaBench（Advection, Burgers, Gas Dynamics, Kuramoto–Sivashinsky, Reaction–Diffusion, Wave）、PDEGym（Poisson–Gauss）、CFDBench（Cylinder Geometry）和LagrangeBench（Taylor–Green Vortex 2D）。与这一目标一致，CMR和Phi-CMR的误差比在所有65次静态比较中至多为1.05，在60次视界七比较中分别有59次和57次至多为1.05。

## 2 方法

响应重整化将DEQ的反向传播视为受控响应，其中在平衡点 z⋆∈R^d 处，伴随向量通过残差雅可比矩阵的转置逆传播损失源 g∈R^d。通过保持稳定通道精确并仅提升已识别的临界分母，该构造在不存在临界响应时恢复原始的隐式伴随。附录B（公式36-39）推导了伴随和奇异相容性条件，附录C推导了因果响应构造。

向量为列向量，A⊤ 表示转置，‖q‖₂ 为欧几里得范数，diag(q_i) 为对角矩阵，[q]₊=max{q,0}。所有SVD使用固定状态表示和仅训练时的归一化，而附录D给出了坐标感知度量形式。索引 n, i, j 分别标记求解器步长、完整奇异模式和计算的低秩模式。欧几里得区间投影记为 P_[ℓ,u](q) = arg min_{y∈[ℓ,u]} ½(y−q)²，其分段形式及完整符号和索引注册表见附录E，表5。

#### DEQ伴随中的响应极点。令 z_n∈R^d 为求解器索引 n 处的隐藏状态，x 为输入，θ 包含可训练参数。添加小源 h_n∈R^d 后，记 z_n=z⋆+φ_n，并定义 J=∂_z f_θ(z⋆,x)∈R^{d×d}。线性化与离散傅里叶变换给出：

z_{n+1} = f_θ(z_n, x) + h_n, (3)
φ_{n+1} = J φ_n + h_n, (4)
G₀(ω) = (e^{iω}I − J)⁻¹, G₀(0) = (I − J)⁻¹ = K⁻¹. (5)

这里 φ_n 是平衡位移，ω∈[−π,π] 是频率，裸传播子 G₀(ω) 将变换后的源 h(ω) 映射到 φ(ω)。因此残差雅可比矩阵 K=I−J 是逆静态响应。损失源 g=∇_{z⋆}L∈R^d 进入 K⊤v=g，伴随 v∈R^d 将状态敏感性转换为每个参数的导数。特别地，v=G₀(0)⊤g=K⁻ᵀg. (6)

附录公式 (44)–(46) 和 (36)–(37) 给出了泰勒展开、傅里叶展开和伴随代换，包括为什么每个参数需要一次伴随求解替代一次直接求解，而响应场理论提供了这种源-响应语言（Martin et al., 1973; Janssen, 1976; De Dominicis, 1976）。对于DEQ，g 是源，K⁻¹ 是响应算子，K 的奇异值是其分母。附录C将相同的DEQ导数 F^{(p)}=∂_z^p f_θ(z⋆,x) 与直接扰动、生成泛函、费曼展开、戴森饰面和有限抵消项联系起来。然后，公式 (47)–(48) 将这些插入投影到K的奇异通道上。

该方法通过公式 (9) 实现所得的有限分母，无需数值求和图。对于奇异值分解 K=UΣV⊤，列 u_i 和 v_i 分别是输出和源方向，而 Σ=diag(σ₁,…,σ_d) 满足 0≤σ₁≤⋯≤σ_d。因此，公式 (2) 将通道 i 分配为源振幅 v_i⊤g，增益 1/σ_i，输出方向 u_i，其精确、正则化和奇异极限由附录公式 (39)–(40) 给出。以下非正规示例说明了为什么单独的特征值不包含这种源到响应的几何关系：

J = [ [1−ε_gap, M], [0, 1−ε_gap] ], K = I−J = [ [ε_gap, −M], [0, ε_gap] ], (7)

谱间隙 ε_gap>0 将两个特征值固定为 1−ε_gap，而标量非正规耦合 M 在 K⁻¹ 中创建了响应尺度 M ε_gap⁻²，这是一种被奇异向量揭示的易感性（Trefethen and Embree, 2005）。

#### 响应重整化构造。在阈值 κ 处，临界集 C={i | σ_i<κ} 包含模式...