通过分层高斯滤波器的闭式预测编码

arXiv cs.LG 论文
predictive-coding hierarchical-gaussian-filters variational-inference free-energy neural-networks backpropagation precision-learning

摘要

本文介绍了通过分层高斯滤波器实现的闭式预测编码，该编码恢复了精度加权的预测误差，从而在没有全局误差信号的情况下实现更快、更高效的训练，并在某些任务上优于反向传播。

arXiv:2605.20293v1 公告类型：新 摘要：预测编码（PC）为人工神经网络训练提供了一种局部的、具有生物学基础的替代方案，以取代反向传播，但迄今为止，它仍然较慢，并且随着网络深度的增加，性能急剧下降。我们将这两个问题追溯到同一个简化：当前的PC网络将精度矩阵固定为单位矩阵，丢弃了变分推导所需的精度加权预测误差，而这些误差对于快速、局部和贝叶斯推理是必要的。我们通过将预测编码网络表示为深度分层高斯滤波器（HGF）并恢复精度加权的消息传递来弥补这一差距，从而在每一层产生动态不确定性估计和符合赫布学习规则的更新规则。由此产生的网络可以在单一自由能目标下同时学习激活、权重和精度，无需全局误差信号，并且无需迭代或自动微分即可解决推理问题。在FashionMNIST上，我们的方法在epoch级别的实际时间成本上接近反向传播，同时收敛所需的epoch更少，并且在在线学习、数据效率和概念漂移任务上优于反向传播。因此，我们证明了带有在线精度学习的闭式变分推理为深度预测编码网络提供了可行的基础，保留了生物学和解释性优势，而无需迭代松弛或全局误差信号。
查看原文
查看缓存全文

缓存时间: 2026/05/21 06:21 

# 基于分层高斯滤波器的闭式预测编码
来源: https://arxiv.org/abs/2605.20293
查看 PDF (https://arxiv.org/pdf/2605.20293)

> 摘要:预测编码（PC）为人工神经网络训练提供了一种局部且具有生物学合理性的反向传播替代方案，然而至今其速度仍然较慢，且随着网络深度增加性能急剧下降。我们将这两个问题追溯到一个单一的简化假设：当前PC网络将精度矩阵固定为单位矩阵，舍弃了变分推导中为实现快速、局部和贝叶斯特性所必需的精度加权预测误差。我们通过将预测编码网络表达为深度分层高斯滤波器（HGF）并恢复精度加权消息传递来弥补这一差距，从而在每一层产生动态不确定性估计和符合赫布学习规则的更新方式。由此产生的网络能在单一自由能目标下同时学习激活值、权重和精度，无需全局误差信号，且无需迭代或自动微分即可完成推理。在FashionMNIST上，我们的方法在epoch级实际运行时间上接近反向传播，同时收敛所需的epoch更少，并且在在线学习、数据效率和概念漂移任务上优于反向传播。由此我们证实，带有在线精度学习的闭式变分推理为深度预测编码网络提供了可行的基础，在无需迭代松弛或全局误差信号的前提下保留了生物学和可解释性方面的优势。

## 提交历史

来自: Nicolas Legrand [查看邮件 (https://arxiv.org/show-email/2df1f913/2605.20293)] **\[v1\]** 2026年5月19日星期二 10:11:41 UTC (947 KB)

相似文章

在线局部化共形预测

arXiv cs.LG

本文提出了在线局部化共形预测（OLCP），旨在解决在线学习和时间序列设置中的协变量异质性问题。文章引入了用于带宽选择的 OLCP-Hedge 算法，并证明与现有基线相比，该方法在获得更窄预测集的同时，仍能保持有效的长期覆盖率。

表征先于像素：语义引导的分层视频预测

Hugging Face Daily Papers

Re2Pix 是一个分层视频预测框架，通过首先使用冻结的视觉基础模型预测语义表征，然后将这些预测作为条件输入到潜在扩散模型中以生成逼真的帧，从而改进未来视频生成。该方法通过嵌套丢弃和混合监督策略解决了训练-测试不匹配问题，在自动驾驶基准测试中实现了更好的时间语义一致性和感知质量。

使用CLIP潜在表示的分层文本条件图像生成

OpenAI Blog

OpenAI提出了一个使用CLIP潜在表示进行文本条件图像生成的分层两阶段模型：一个先验模型从文本标题生成CLIP图像嵌入，以及一个基于扩散的解码器从嵌入生成图像。该方法提高了图像多样性，并实现了零样本语言引导图像操作。