通过分层高斯滤波器的闭式预测编码
摘要
本文介绍了通过分层高斯滤波器实现的闭式预测编码，该编码恢复了精度加权的预测误差，从而在没有全局误差信号的情况下实现更快、更高效的训练，并在某些任务上优于反向传播。
查看缓存全文
缓存时间: 2026/05/21 06:21
# 基于分层高斯滤波器的闭式预测编码 来源: https://arxiv.org/abs/2605.20293 查看 PDF (https://arxiv.org/pdf/2605.20293) > 摘要:预测编码（PC）为人工神经网络训练提供了一种局部且具有生物学合理性的反向传播替代方案，然而至今其速度仍然较慢，且随着网络深度增加性能急剧下降。我们将这两个问题追溯到一个单一的简化假设：当前PC网络将精度矩阵固定为单位矩阵，舍弃了变分推导中为实现快速、局部和贝叶斯特性所必需的精度加权预测误差。我们通过将预测编码网络表达为深度分层高斯滤波器（HGF）并恢复精度加权消息传递来弥补这一差距，从而在每一层产生动态不确定性估计和符合赫布学习规则的更新方式。由此产生的网络能在单一自由能目标下同时学习激活值、权重和精度，无需全局误差信号，且无需迭代或自动微分即可完成推理。在FashionMNIST上，我们的方法在epoch级实际运行时间上接近反向传播，同时收敛所需的epoch更少，并且在在线学习、数据效率和概念漂移任务上优于反向传播。由此我们证实，带有在线精度学习的闭式变分推理为深度预测编码网络提供了可行的基础，在无需迭代松弛或全局误差信号的前提下保留了生物学和可解释性方面的优势。 ## 提交历史 来自: Nicolas Legrand [查看邮件 (https://arxiv.org/show-email/2df1f913/2605.20293)] **\[v1\]** 2026年5月19日星期二 10:11:41 UTC (947 KB)
相似文章
使用混合摊销推理加速层次化稀疏预测编码
本文提出了一种混合摊销推理方法，通过结合快速初始估计和校正优化步骤，加速了层次化稀疏预测编码，比纯迭代或摊销方法更高效。
@InnocFrancesco：对局部学习算法感兴趣吗？在 #ICML2026 接收的工作中，我们展示了预测编码计算出的...
本文展示了在宽度远大于深度的极限情况下，预测编码网络计算出与反向传播相同的梯度，从而在生物学习与标准神经网络训练之间架起桥梁。
Hierarchical Latent Prediction for Language Models
This paper introduces HiLP, a hierarchical representation training method that adds multi-scale self-predictive learning to transformer pretraining, aiming to reduce compounding error and improve long-horizon reasoning and speculative decoding efficiency.
Topological Simplification in Predictive Coding Networks
The paper studies the topology of learned representations in predictive coding networks using persistent homology, finding that smaller models simplify topology earlier than larger ones and that earlier simplification correlates with worse reconstruction performance.
基于解析预测推断的高效贝叶斯深度集成
介绍了一种用于预测回归的高效贝叶斯深度集成方法，该方法结合了低维集成表示、闭式贝叶斯聚合和独立集成训练，以在保持计算效率的同时获得校准的不确定性估计。