backpropagation

一条推特串，列出了面试官期望候选人了解的13个核心机器学习概念，涵盖从偏差-方差权衡到维度灾难等主题。

Microcrad 用C语言重新实现了 Karpathy 的 micrograd 自动微分引擎，提供了一个教育性的标量值自动微分库，带有引用计数和小型神经网络，旨在帮助在标量层面理解反向传播。

本文提出了一个新皮层学习框架，满足计算、算法和实现三个层面的合理性标准，通过时间导数和皮层-丘脑回路实现基于错误驱动的预测学习，并指出了相对于反向传播的潜在改进。

本文诊断了基于梯度反演的Gray-Scott反应扩散系统的损失景观，表明直接反向传播由于平坦平台和陡峭悬崖而失败，而PINN组件（如残差损失）则平滑了景观。这些发现为PINN类方法提供了设计启示。

本文追踪了不同学习规则（反向传播、反馈对齐、预测编码、STDP）在训练过程中如何影响CNN表征与人类fMRI的对齐。研究发现反向传播在一个epoch内摧毁V1对齐，而局部规则则保持该对齐，这表明构建高级表征与保留早期视觉特征之间存在权衡。

斯坦福CS224N课程笔记清晰地介绍了神经网络中反向传播和梯度计算的数学原理，涵盖链式法则、计算图和向量化导数。

本文追踪了使用不同学习规则（反向传播、反馈对齐、预测编码、STDP）的监督训练如何降低神经网络表征与早期视觉皮层fMRI数据之间的对齐度，发现未训练的网络在V1对齐度上通常达到或超过训练后的网络。

Sakana AI 提出了 DiffusionBlocks，一种通过将前向传播解释为扩散去噪来分块训练神经网络的方法，与传统端到端反向传播相比，显著降低了内存需求。

本线程解释了雅可比矩阵背后的直觉及其在人工智能和机器学习中的广泛应用，包括反向传播、归一化流、计算机视觉和机器人技术。

本文介绍了通过分层高斯滤波器实现的闭式预测编码，该编码恢复了精度加权的预测误差，从而在没有全局误差信号的情况下实现更快、更高效的训练，并在某些任务上优于反向传播。

本文评估了反馈对齐算法在卷积网络中的生物合理性与表征一致性，并在 CIFAR-10 数据集上将其与标准反向传播进行了对比。作者发现，改进的反馈对齐方法收敛出的内部表征与反向传播产生的表征相似，这表明其功能上的成功源于对表征几何结构的模仿。

Andrej Karpathy 的《Neural Networks: Zero to Hero》是一门免费课程，涵盖从基础神经网络到现代架构（如 Transformer）的内容，配有 YouTube 讲座和 Jupyter notebook。包含 micrograd 和 makemore 的动手实现。