🧠 对局部学习算法感兴趣？🚨 在 #ICML2026 🇰🇷 接收的工作中，我们展示了预测编码在宽度远大于深度的网络中计算与反向传播相同的梯度。💬 今天14:30欢迎来我们的海报（#802）交流！@mido7e 📃: https://t.co/D2SjBblkHh

关于预测编码网络的无限宽度和深度极限

来源: https://arxiv.org/html/2602.07697

摘要

预测编码（PC）是标准反向传播（BP）的一种生物 plausible 替代方案，它通过先最小化关于网络活动的能量函数，然后再更新权重来工作。近期工作通过利用一些受 BP 启发的重参数化方法，提升了深度 PC 网络（PCN）的训练稳定性。然而，这些方法的完整可扩展性和理论基础仍不明确。为了填补这一空白，我们研究了 PCN 的无限宽度和深度极限。对于线性残差网络，我们证明 PC 的宽度和深度稳定的特征学习参数化集合与 BP 完全相同。此外，在这些参数化下，当模型宽度远大于深度时，具有平衡活动的 PC 能量收敛于二次 BP 损失，导致 PC 计算与 BP 相同的梯度。实验表明，只要达到活动平衡，对于包括卷积网络和 Transformer 在内的非线性模型，收敛到 BP 也成立。总体而言，这项工作限制了与 PC 可扩展的参数化类型，同时展示了在像大脑这样宽度远大于深度的网络中，仅使用局部更新即可有效实现 BP 的一种方式。

机器学习, ICML, 预测编码, 反向传播, 局部学习, 无限宽度极限, 无限深度极限, 最大更新参数化, muP, 超参数迁移

1 引言

大脑如何仅利用每个神经元可用的局部信息来更新突触权重？尽管反向传播（BP）是训练人工神经网络的标准算法（Rumelhart 等，1986 (https://arxiv.org/html/2602.07697#bib.bib55); LeCun 等，2015 (https://arxiv.org/html/2602.07697#bib.bib37)），但因其信息的非局部传播，不太可能在大脑中实现（Lillicrap 等，2020 (https://arxiv.org/html/2602.07697#bib.bib40)）。理解大脑如何解决这个信用分配问题，不仅会大大推进神经科学，还可能解锁更节能的人工智能。

参见图注

图1：在线性残差网络的宽度和深度稳定的特征学习参数化下，当模型宽度远大于深度，N≫L 时，PC 收敛到 BP。我们使用平均场参数化（定义见表2 (https://arxiv.org/html/2602.07697#Ax1.T2)）和深度缩放指数 α=1/2（§4 (https://arxiv.org/html/2602.07697#S4)），在 CIFAR-10 上训练线性残差网络。图中绘制了在训练步骤 t 上，均衡能量（公式5 (https://arxiv.org/html/2602.07697#S2.E5)）梯度（PC）与 MSE 损失（公式1 (https://arxiv.org/html/2602.07697#S2.E1)）梯度（BP）之间的余弦相似度，平均 3 次随机运行。更多细节见 §A.8 (https://arxiv.org/html/2602.07697#Ax1.SS8)，类似结果见 Figure A.6 (https://arxiv.org/html/2602.07697#Ax1.F6) 的 Fashion-MNIST 实验。

BP 的一个更生物 plausible 的替代方案是“预测编码”（PC），这是一种有影响力的脑功能理论，表明神经元的目的是最小化其预测误差（Rao & Ballard, 1999 (https://arxiv.org/html/2602.07697#bib.bib53); Friston, 2005 (https://arxiv.org/html/2602.07697#bib.bib16)）。在预测编码网络（PCN）中，这个过程分两个阶段进行：首先，神经元调整其活动以最小化局部目标（或能量）的总和；然后，一旦网络达到平衡，权重被更新以最小化相同的能量函数（Song 等，2024 (https://arxiv.org/html/2602.07697#bib.bib63)）。PC 和其他局部算法的一个优点是，在平衡时，不同层的权重可以并行更新。

虽然 PC 何时可以近似或精确等于 BP 的条件已经很好建立（Whittington & Bogacz, 2017 (https://arxiv.org/html/2602.07697#bib.bib66); Song 等，2020 (https://arxiv.org/html/2602.07697#bib.bib62); Millidge 等，2022b (https://arxiv.org/html/2602.07697#bib.bib43); Rosenbaum, 2022 (https://arxiv.org/html/2602.07697#bib.bib54); Salvatori 等，2021 (https://arxiv.org/html/2602.07697#bib.bib56); Millidge 等，2022a (https://arxiv.org/html/2602.07697#bib.bib42)），后来工作探索了标准 PC 如何提供优于 BP 的好处，包括以更少的权重更新进行学习（Alonso 等，2022 (https://arxiv.org/html/2602.07697#bib.bib2); Innocenti 等，2023 (https://arxiv.org/html/2602.07697#bib.bib24); Alonso 等，2023 (https://arxiv.org/html/2602.07697#bib.bib3); Innocenti 等，2024a (https://arxiv.org/html/2602.07697#bib.bib25)）以及在在线和持续学习任务中提高性能（Song 等，2024 (https://arxiv.org/html/2602.07697#bib.bib63)）。

受这些潜在优势的鼓舞，近期努力集中在将 PC 扩展到更大尤其是更深的模型（Pinchetti 等，2024 (https://arxiv.org/html/2602.07697#bib.bib47)）。这项工作揭示并至少部分解决了深度 PCN 训练中的各种不稳定性（Qi 等，2025 (https://arxiv.org/html/2602.07697#bib.bib50); Innocenti 等，2025 (https://arxiv.org/html/2602.07697#bib.bib27); Goemaere 等，2025 (https://arxiv.org/html/2602.07697#bib.bib17)）。值得注意的是，Innocenti 等人（2025 (https://arxiv.org/html/2602.07697#bib.bib27)）提出了一种来自 BP 的 PCN 重参数化，允许在简单分类任务上稳定训练 100+ 层的残差网络。然而，这种及其他重参数化往往是启发式推导的，或仅部分得到证明，PC 向更大数据集（例如 ImageNet）的可扩展性仍有待观察。

另一方面，BP 训练模型的可扩展性是一段成功的历史。这种成功在很大程度上归功于在“理想化”的无限宽度和深度极限中推导出的有原则的网络参数化（Yang & Hu, 2021 (https://arxiv.org/html/2602.07697#bib.bib69); Bordelon & Pehlevan, 2022b (https://arxiv.org/html/2602.07697#bib.bib9); Bordelon 等，2023 (https://arxiv.org/html/2602.07697#bib.bib11); Dey 等，2025 (https://arxiv.org/html/2602.07697#bib.bib15)）。这种参数化不仅实现了跨模型大小的稳定训练动态，还实现了“零样本超参数迁移”（Yang & Hu, 2021 (https://arxiv.org/html/2602.07697#bib.bib69)），即学习率等最佳调整参数在不同规模下大致保持不变。此外，对无限宽网络的分析已经为其他生物 plausible 学习规则的学习动态提供了见解（Bordelon & Pehlevan, 2022a (https://arxiv.org/html/2602.07697#bib.bib8)）。

鉴于此，以及理论驱动的参数化对 BP 的实际影响（Yang & Hu, 2021 (https://arxiv.org/html/2602.07697#bib.bib69)）——这些参数化已被证明可以提高 PCN 的可扩展性（Innocenti 等，2025 (https://arxiv.org/html/2602.07697#bib.bib27)）——这引出了以下问题：我们能否推导出专门用于 PC 的有原则的参数化，从而允许稳定且更高效地训练宽和深网络？

在这里，我们通过分析线性 PCN 的无限宽度和深度极限来肯定地回答这个问题，并用非线性模型的实验加以支持。令人惊讶的是，我们证明 PC 的宽度和深度稳定的特征学习（“非懒惰”）参数化集合与 BP 完全相同。此外，在这些参数化下，我们证明在模型宽度远大于深度的机制中，PC 计算的权重梯度收敛于 BP 梯度。我们证明这些理论结果在实践中对非线性模型成立，只要达到活动的平衡。我们使用不同架构（包括卷积神经网络 CNN 和 Transformer）进行了实验，这些架构使用不同的非线性函数、优化器和损失函数进行训练。

总体而言，我们的工作为与 PC 可扩展的参数化类型提供了硬约束，同时展示了一种在宽度远大于深度的网络中（也许在大脑中），BP 如何通过局部算法有效实现的方式。

本文的其余部分组织如下。在介绍 PCN 和 BP 参数化的一些背景知识后，第3节 (https://arxiv.org/html/2602.07697#S3) 展示了我们在线性多层感知器（MLP）的 PC 宽度参数化方面的结果。接着是线性残差网络的深度 PC 参数化的结果（§4 (https://arxiv.org/html/2602.07697#S4)）。然后，我们展示支持理论结果的非线性模型实验（§5 (https://arxiv.org/html/2602.07697#S5)），最后总结本工作的意义和局限性（§6 (https://arxiv.org/html/2602.07697#S6)）。由于篇幅原因，相关工作、额外实验和推导请参考附录A (https://arxiv.org/html/2602.07697#A1)。

1.1 贡献总结

• • 对于具有平衡活动的线性 MLP，我们证明 PC 的宽度稳定和特征学习参数化集合与 BP 相同（定理1 (https://arxiv.org/html/2602.07697#S3.Thmtheorem1)）。此外，在这些参数化下，对于足够大的宽度，PC 计算与 BP 相同的梯度（推论3.2 (https://arxiv.org/html/2602.07697#S3.Thmtheorem2); 图2 (https://arxiv.org/html/2602.07697#S2.F2) 和 A.15 (https://arxiv.org/html/2602.07697#Ax1.F15)）。
• • 我们将这些结果推广到线性残差网络，证明 PC 和 BP 的宽度和深度稳定的特征学习参数化集合也是等价的（定理2 (https://arxiv.org/html/2602.07697#S4.Thmtheorem1); 另见图 A.5 (https://arxiv.org/html/2602.07697#Ax1.F5)）。与 MLP 情况类似，在模型宽度远大于深度的机制中，PC 梯度收敛于 BP 梯度（推论4.2 (https://arxiv.org/html/2602.07697#S4.Thmtheorem2); 图1 (https://arxiv.org/html/2602.07697#S1.F1) 和 A.6 (https://arxiv.org/html/2602.07697#Ax1.F6)）。
• • 我们通过实验验证了在线性和非线性架构（包括 CNN 和 Transformer，例如图4 (https://arxiv.org/html/2602.07697#S4.F4)）上的理论结果，这些架构在玩具级和大型任务（例如 ImageNet）上，使用不同的优化器和损失函数进行训练。我们还为 CNN、Transformer 和 Adam 优化器提供了我们推导的 PC 参数化的启发式扩展（§A.6 (https://arxiv.org/html/2602.07697#Ax1.SS6)）。

2 背景

为了建立我们对 PCN 的理论分析（§3 (https://arxiv.org/html/2602.07697#S3)），本节我们将回顾 PC，定义通用参数化，并重新审视 BP 的“宽度感知”参数化。关于一般符号，参见 §A.1 (https://arxiv.org/html/2602.07697#Ax1.SS1)。

2.1 预测编码网络

我们考虑标准的监督学习设置，给定一个包含 P 个样本的数据集 D = {(x_μ, y_μ)}_μ=1^P，其中 x_μ ∈ R^D，标量目标 y_μ ∈ R，为简化起见我们假定如此。为了比较，回忆标准均方误差（MSE）损失是有用的：

L(θ) = 1/(2P) Σ_μ=1^P (y_μ - f(x_μ; θ))^2， (1)

其中 f(x_μ; θ) 表示给定输入的模型预测，参数 θ ∈ R^p。

表1：宽度为 N 的 MLP 的宽度相关缩放指数

PC 能量。

PCN 最小化局部目标（能量）的总和，这些目标通常采取逐层 MSE 的形式（Buckley 等，2017 (https://arxiv.org/html/2602.07697#bib.bib13); Bogacz, 2017 (https://arxiv.org/html/2602.07697#bib.bib7)）。具体来说，考虑一个没有偏置的简单 MLP 的 PC 能量：

F(z, θ) = 1/(2P) Σ_μ=1^P Σ_ℓ=1^L ||z_μ^(ℓ) - φ_ℓ(W^(ℓ) z_μ^(ℓ-1))||^2， (2)

其中 z_μ ≔ {z_μ^(ℓ)}_ℓ=0^L 表示可能自由变化的额外（潜在）变量，{W^(ℓ)}_ℓ=1^L 是权重矩阵，φ_ℓ(·) 是层激活函数。

PC 推理与学习。

对于监督学习，PCN 通过将第一层和最后一层固定到某些输入和目标数据来进行训练：z_μ^(L) ← y_μ 且 z_μ^(0) ← x_μ。然后以双层、期望最大化的方式最小化能量（公式2 (https://arxiv.org/html/2602.07697#S2.E2)）。首先，给定一些权重 θ_t，我们相对于网络的活动最小化能量：

z_μ^* = argmin_{z_μ} F(z_μ, θ_t)。 (3)

这个过程称为“推理”，可以直观地理解为网络试图找到最能解释每个数据样本的活动平衡状态。公式3 (https://arxiv.org/html/2602.07697#S2.E3) 通常使用标准梯度下降（GD）最小化：z_{k+1} = z_k - β ∇_z F，步长为 β，为简单起见我们省略数据索引 μ。在活动 z_μ^* 收敛后，我们相对于权重最小化能量，通过执行一次（例如 GD）更新：

θ_{t+1} = θ_t - η ∂F(z^*, θ_t)/∂θ， (4)

其中 η 是学习率。然后使用新的数据批次重新开始优化循环。根据任务（例如判别 vs 生成），网络可以被测试以根据给定输入预测目标，或根据给定目标推断输入。与 BP 相比，任何层的活动和权重梯度都是局部的，因为它们只需要来自相邻层的信息。

线性网络的均衡能量。

对于任意线性网络，其中 φ_ℓ(·) = I 对所有 ℓ 成立，公式 (3) 的推理最小化问题具有闭式解，对应于线性系统的平衡点（见附录）。因此，均衡能量可以通过求解一个线性系统获得，并且 PC 权重梯度等于 BP 梯度乘以一个取决于网络宽度和深度的尺度因子（见 §3）。