Deepity: 一个C++库，展示预测编码网络可以媲美反向传播（在60秒内MNIST上达到97.73%） [P]

Reddit r/MachineLearning 工具
predictive-coding machine-learning c-plus-plus backpropagation mnist-benchmark alternative-algorithms high-performance-computing

摘要

Deepity C++库实现了优化的预测编码网络，以在MNIST上实现接近反向传播的性能，准确率为97.73%，耗时59.5秒。

在过去的一个月里，我构建了一个名为Deepity的本地C++机器学习库，以测试替代的信用分配算法；特别是预测编码网络（PCNs）。虽然PCNs因其生物合理性和持续学习而令人着迷，但朴素实现速度极慢。通过实现最近的研究（通过直接Kolen-Pollack反馈对齐加速PCNs），并利用算法缓存绕过推理稳定阶段的冗余前向投影，我成功缩小了在CPU上训练MNIST（50个周期）时与反向传播的性能差距。PyTorch反向传播（前馈）：测试准确率98.27%，耗时约70秒。Deepity DKPPCN：测试准确率97.73%，耗时59.5秒。接下来是将这些内核移植到CUDA以扩展架构，并测试其在标准反向传播表现不佳的持续学习场景中的能力。如果您对本地学习、替代信用分配或机器学习的高性能计算感兴趣，我非常期待您的反馈！GitHub: https://github.com/ra4ster/deepity Project Site: https://ra4ster.github.io/Deepity
查看原文

相似文章

@mayfer: 快速MNIST测试

X AI KOLs Timeline

Sakana AI 推出了 PC-ALM，这是一种 backpropagation 的本地学习替代方案，能够仅使用局部动态训练 1000 层神经网络。

PixelDense：将密集预测视为像素扩散的表征对齐

Hugging Face Daily Papers

PixelDense 将密集预测任务重构为像素空间扩散的表征对齐目标，通过独立的投影流分别路由语义教师（DINOv2、SAM2）和几何教师（Depth Anything v2、Metric3D v2），并加入正交性惩罚。该方法提升了 PixelGen 和 DeCo 上的 GenEval、DPG-Bench 与 HPSv2.1 得分，在部分噪声重建中 PQ 提升最高达 53.1%，且训练速度比基线快 1.23 倍。