approximate-message-passing

一篇理论论文，介绍了Decoupled Descent (DD)，一种训练方法，它利用近似消息传递（AMP）的Onsager修正来在梯度下降过程中强制训练误差与测试误差之间的渐近相等，从而可能实现更好的停止和超参数调整。

本文对高维多指标模型的经验风险景观进行了精确的理论刻画，提出了增量近似消息传递（IAMP）算法，该算法在多项式时间方法中实现了接近最优的性能，利用了统计物理中的概念，如副本对称破缺。