反向传播的替代方案：Augmented Lagrangian Predictive Coding

# 增广拉格朗日预测编码：无需反向传播训练1000层网络 来源：https://pub.sakana.ai/pc-alm/ 我们提出**PC-ALM**，一种替代反向传播的局部方法。**PC-ALM能够训练多达1000层的残差MLP**，尽管仅使用层内局部动态，其性能几乎与反向传播相当。PC-ALM为每一层配备了一个反馈控制动力系统，用于在全网络中分配并传播监督信用信号。 标准深度学习依赖反向传播。然而，大脑无法实现反向传播，至少无法精确实现[1, 2]。大脑如何在不显式使用反向传播的情况下解决**多层信用分配**问题，仍是神经科学领域最基本且未解决的问题之一（尽管已有一些进展[3, 4, 5]）。 大脑无法精确实现反向传播有几个原因。其中之一是**"相位锁定"**[6, 2]。反向传播严格按顺序分三个阶段运行：1）前向传播，然后2）反向传播，然后3）权重更新。权重更新被锁定直到前向和反向传播完成——早期层的一个神经元必须保持其激活值并等待误差信号到达。大脑没有已知的机制可以强制整个网络实现如此严格的时序协调[1]。 本文中，我们介绍**PC-ALM（增广拉格朗日预测编码）**，这是一种训练网络的方法，它用层内局部动力系统替代反向传播的前向和反向传播过程。每一层仅与其相邻层耦合。我们不是先前向再反向，而是让每一层在时间上向前推进。当运行至收敛时，整个系统的动态能快速且准确地将监督信用信号分配到整个网络。 **PC-ALM**是标准**预测编码（PC）**[7, 8, 9, 10]的扩展。PC使用层间的扩散（即基于能量或"热流"）耦合。与PC相比，PC-ALM在每一层引入了**对偶神经元**（拉格朗日乘子），使得每一层的局部递归成为一个**PI反馈控制器**（https://en.wikipedia.org/wiki/Proportional%E2%80%93integral%E2%80%93derivative_controller#PI_controller）。在线性网络的极限情况下，尽管仅使用局部计算，对偶神经元能收敛到精确的反向传播信用信号。 我们在一系列实验中将PC-ALM与PC和反向传播进行了比较。诸如PC的局部训练方法在历史上难以扩展。遵循PC文献，我们使用简单任务（Fashion-MNIST、CIFAR-10等）和网络（如残差MLP）。 我们展示**PC-ALM能够在1000层神经网络中成功传播监督信用信号**，克服了标准PC的**信号衰减问题**[11]，同时保持层内局部性。 我们重点关注深度大、宽度小的网络，这是一个PC往往表现不佳的区域。 最终，我们的动机是理解分布式系统（如大脑）如何在不使用反向传播的情况下实现梯度计算。抛开科学动机，这项研究可能为神经形态硬件上的能效深度学习提供信息，在这种硬件上，动力系统模拟比在GPU上更便宜[12]。 - **论文：** arxiv.org/abs/2605.31022 (https://arxiv.org/abs/2605.31022) - **代码：** github.com/SakanaAI/pc-alm (https://github.com/SakanaAI/pc-alm) ## 预测编码：每一层作为一个动力系统 在解释PC-ALM之前，让我们先解释PC，从动力系统的角度进行解读，以强调其作为反向传播替代方案的作用。 ### 预测编码 预测编码源于赫尔姆霍兹的无意识知觉理论[13]。Rao & Ballard（1999）为PC作为视觉皮层模型开发了一个数学框架[14]。PC的思想是每一层都尝试建模其传入信号，只将预测误差（该层未能建模的部分）向上发送到下一层。 从数学上讲，预测编码使用了一个通用模式：取一个*状态*并在下一步更新它以减少**预测误差**， 状态t+1 = 状态t - η * (状态t - 目标t) ⏟预测误差 通过将此更新规则应用于每一层的激活向量（“状态”是该层的激活值h_i；其“目标”是从下一层到达的预测σ(W_i h_{i-1})）[1]，PC框架有效地规避了反向传播对同步前向和反向传播的需求。 更详细地解释，让我们将前馈网络写为一个**约束优化问题**： 最小化θ, h ½‖y - W_L h_{L-1}‖²，使得 h_i = σ(W_i h_{i-1}), i=1,...,L-1。 其中L是网络深度，h_0:=x是输入，y是目标，θ={W_i}是权重，h_i是层激活值，σ是激活函数（如ReLU）。注意每个h_i都是一个优化变量[2]。然后我们构造一个新的损失函数，包含原始监督损失，以及对每个层约束违反的二次惩罚： F_PC(h, θ) = ½‖y - W_L h_{L-1}‖² + ½∑_{i=1}^{L-1}‖h_i - σ(W_i h_{i-1})‖²。 这是约束问题的二次松弛。F_PC被称为网络的“自由能”[15, 9]。 为了训练神经网络，PC在推理和学习步骤之间交替进行： 预测编码 推理 对于 t=1,...,T h_i ← h_i - η_h ∇_{h_i} F_PC，对于 i=1,...,L-1 学习 W_i ← W_i - η_θ ∇_{W_i} F_PC，对于 i=1,...,L 每个小批量，前向传播初始化激活值，然后进行T次推理步骤和一次权重更新。我们将T设置为与网络深度成比例；下面的1000层实验使用T=2L。 每个h_i更新减少层i与其相邻层之间的预测误差。这是因为∇_{h_i} F_PC仅依赖于h_{i-1}, h_i, 和 h_{i+1}。推理仅需要层间最近邻通信（“消息传递”）。明确地，令r_i = h_i - σ(W_i h_{i-1})表示层i-1和i之间的**预测误差**，推理更新读为[3]： h_i ← h_i - η_h ( r_i↑下方误差 - W_{i+1}^⊤ (σ' ⊙ r_{i+1}↑上方误差 ) )，i=1,...,L-1 底部h_0被“钳位”（固定）到输入值，网络顶部被钳位到目标y。运行T个更新步骤后，网络为每一层稳定到状态h_i，之后在相同的F_PC上执行梯度下降步骤，但这次是关于权重W（给定当前剩余的预测误差和当前状态激活值）。 W_i ← W_i + η_θ (σ' ⊙ r_i) h_{i-1}^⊤，i=1,...,L-1 推理步骤和权重更新都是层内局部的。权重更新是类似赫布的，它将突触后误差乘以突触前活动（一种δ规则），并且动力学映射到具有显式误差神经元的神经电路[14, 7]。 ### PC训练深层网络，但表现出信号衰减 **在权重初始化阶段，一个32层残差MLP（宽度16，ReLU）中的PC推理。**信用 = 预测误差r_i的逐层范数。虚线参考：反向传播伴随向量（损失对该层激活值的梯度）的范数。 由于最小化自由能关于每个h_i并不强制层间约束精确成立，PC导致的学习轨迹与标准反向传播不同。 尽管如此，PC已被证明可以成功地在简单任务上训练网络。例如，使用宽层宽度（每层512个神经元）的128层残差MLP在MNIST和Fashion-MNIST上的任务[16]。 然而，PC在更复杂的任务和网络上表现不佳[17]。此外，即使在网络宽度小于其深度的情况下，在简单的网络/任务上PC也表现挣扎[18]。 每一层调整其活动以减少与其相邻层的预测误差。监督从输出端进入，但必须通过这一系列局部的妥协才能影响早期层。在深度窄网络中，结果信用信号在到达输入层之前就变得很弱。 这导致了PC被记录的信号衰减问题[11]，如上图所示。增加T可以让信用信号传播得更远，但需要更多计算来进行每次训练更新。 我们的方法，PC-ALM，引入了一种改进PC网络信号传播的方法，保留了PC的层内局部动力学，并将推理预算T保持与网络深度成比例。 ## 增广拉格朗日预测编码 我们提出增广拉格朗日预测编码，这是PC的一个变体，使用**增广拉格朗日（AL）**[19, 20, 21]替代PC的F_PC： L(h, θ, λ) = ½‖y - W_L h_{L-1}‖² + ∑_{i=1}^{L-1} λ_i^⊤ (h_i - σ(W_i h_{i-1})) + ½∑_{i=1}^{L-1} ‖h_i - σ(W_i h_{i-1})‖² 监督损失 + 拉格朗日项 + PC能量 在每一层，增广拉格朗日引入一个与h_i同维度的拉格朗日乘子（或对偶变量）λ_i ∈ R^{n_i}。 增广拉格朗日在分布式优化[22]中被广泛使用，并启发了许多用于训练深度网络的分布式方法[23, 24]。 LeCun (1988)[25]表明，约束网络的拉格朗日乘子在平衡时编码了其反向传播信用信号。增广拉格朗日将这种经典构造与PC已使用的二次预测误差惩罚相结合。这暗示了一种简单的可能性：如果我们添加乘子，PC的局部动态是否能恢复那些信用信号？ 为了使用增广拉格朗日进行训练，我们对PC进行一个简单的修改： 增广拉格朗日预测编码 推理 对于 t=1,...,T h_i ← h_i - η_h ∇_{h_i} L，对于 i=1,...,L-1 原始变量 λ_i ← λ_i + α (h_i - σ(W_i h_{i-1}))，对于 i=1,...,L-1 对偶变量 这里α是对偶步长。PC-ALM是在增广拉格朗日上的原始下降、对偶上升，而PC是在能量上的下降。 通过累积局部预测误差，对偶变量在深度线性网络中恢复精确的反向传播信用信号。我们在论文中推导了这个结果。 因此，至少对于线性网络，PC-ALM提供了一种计算精确监督损失梯度并将其分配到整个网络的方法，仅使用层内局部动力学。 在下面的实验中，我们测试了这种优势是否能扩展到非线性网络。 ### 机制解释 从机制上理解PC-ALM如何工作，考虑一个简单的标量网络，隐藏单元h = w1 x，输出ŷ = w2 h。我们想将监督损失½(y - ŷ)²的梯度传播到w1。 我们将乘子λ附加到约束h = w1 x上，初始化λ=0，并将h初始化为其前向传播值。 PC-ALM的第一步与PC步骤完全一致。之后，λ在每一步累积该层的预测误差，这反馈到h更新中。每个h更新现在在能量上执行梯度步，但预测目标被对偶变量平移。[4] 在收敛时，激活值h返回其前向传播值（恢复约束h = w1 x），而λ累积到该层的反向传播信用信号：即λ = w2 (y - ŷ)。 PC与PC-ALM在双层线性标量网络中的比较，ŷ = w2 w1 x，x, y被钳位到数据值。左：BP、PC和PC-ALM在权重空间中的训练轨迹。在这个简单模型中，PC和PC-ALM都有效并收敛到解流形。PC和PC-ALM之间的性能差异在深度窄网络中变得明显。 ### 控制理论与信用分配 PC-ALM为信用分配提供了一个控制理论视角。每一层将其当前预测误差与累积误差信号相结合——这是PI反馈控制器的比例和积分项。[5]**全局信用分配从局部反馈控制器的网络中涌现。**我们相信这个视角为设计新的局部学习算法提供了有用的原则。 ## 结果 我们下面展示PC-ALM的一些结果。 ### PC-ALM：一种训练1000层神经网络的局部学习方法 PC-ALM在MNIST上成功训练了1000层MLP。我们使用Innocenti等人（2026）[18]中的残差MLP设置。我们训练了五个epoch。我们的架构是一个简单的带有残差跳跃连接的MLP，使用在该深度下稳定反向传播训练的权重参数化。 我们的结果如下图所示；PC-ALM仅使用层内动态就达到了接近BP的性能。 MNIST测试准确率与深度的关系，从浅层网络到1000层，分别为BP、PC-ALM和PC。反向传播是全局的；PC和PC-ALM是局部的。 **MNIST测试准确率与深度（宽度N=32，ReLU激活）的关系。**在包括1000层在内的整个范围内，PC-ALM保持在反向传播的约2个百分点以内。 ### 图像分类基准测试 我们在一组小型图像分类任务上测试了PC-ALM，发现它在每个任务上都提高了PC的性能，包括在CIFAR-10和Tiny ImageNet上训练ResNet-18时。 BP、PC和PC-ALM在MNIST和Fashion-MNIST上32、64和128层，以及CIFAR-10和Tiny ImageNet的测试准确率。 **在基准测试中。**PC-ALM持续缩小标准PC与全局反向传播之间的差距。随着深度增加，PC的准确率下降速度比PC-ALM快得多。 ### PC-ALM传播动力学 除了PC-ALM在图像识别任务上的性能外，我们发现PC-ALM表现出令人惊讶的动力学特性。在PC和PC-ALM推理中，隐藏激活h_i的移动最初仅出现在网络的最后几层。随着推理进行，早期层接收到信用信号，形成一个向输入端前进的波前。PC-ALM的原始-对偶动力学驱动这个波前穿过网络的速度比PC*更快*。我们称之为**"弹道式"信用传播**，以区别于PC的扩散式、类热流传播。 **弹道式与扩散式信用传播。**推理过程中各层的信用幅度。PC的信用随深度衰减；PC-ALM的信用均匀分布在整个网络中。 ### 稳定的振荡瞬态响应 PC-ALM中的单个神经元在推理过程中也表现出阻尼振荡。 **振荡推理动力学。**我们考虑一个深度线性网络（σ=恒等映射），深度L=8，宽度N=1。权重固定，所有层的耦合推理动力学形成一个线性系统，其特征值如左图所示（论文中的公式（17））。右图：推理过程中一个神经元的活动和对偶变量。参数α是对偶步长。设置α=0精确恢复PC，所有特征值为实数；增加α引入复数特征值和振荡动力学。过度增加α最终会使网络不稳定（论文中的公式（14））。 ## 讨论 本文介绍了PC-ALM，一种用于训练深度网络的、替代反向传播的层内局部方法。据我们所知，这是第一个被证明能够成功训练多达1000层网络的层内局部方法。 ### 总结 预测编码仍然是皮层功能理论的一个有吸引力的候选。它源于赫尔姆霍兹关于无意识加工的思想。后来被证明，预测编码可以被视为训练深度网络的反向传播的层内局部替代方案。标准形式的PC可以在简单任务上成功训练网络，但信号衰减限制了其在深度窄网络中的性能。通过引入拉格朗日乘子并在增广拉格朗日上运行原始-对偶推理（相对于PC在能量上的梯度流），PC-ALM允许单个层仅通过与相邻层的通信来计算全局损失函数的梯度信号。这项工作的主要动机是更深入地理解真实物理系统（如大脑）中的信用分配机制。 ### 约束和提升优化 PC-ALM与一系列使用约束优化方法训练深度网络的研究相关。这些方法通过将激活值h与权重W一起视为变量，将训练“提升”到一个更大的优化问题。这包括辅助坐标法[26]，以及使用ADMM训练深度网络的后续工作[23, 24]。