Decoupled Descent：通过AMP Onsager修正强制实现精确的训练-测试误差追踪 [R]

链接：https://arxiv.org/pdf/2604.27883 大家好，我们大多数人都熟悉使用梯度下降训练神经网络时的头疼问题：训练误差可能降至零，但测试误差可能与初始化时相同甚至增加。我的论文将这一现象视为数据重用偏差的结果，并且可以通过在一组风格化的高斯混合模型上研究全批量梯度下降来将其分离出来。事实证明，这个基本问题可以利用高维统计理论中的一些巧妙技巧来避免，特别是近似消息传递（这超出了本贴的范围，但我很乐意详细解释）。通过这样做，我创建了一种名为Decoupled Descent (DD)的训练方法，它生成一个证书，保证网络在每个参数迭代处的训练误差将渐近等于测试误差。我认为这种方法为如何训练网络提供了一种很酷的方式，希望大家能给我反馈。它为最优停止或超参数调整提供了一些好的想法，并为未来推进到诸如SGD或更一般模型的方向打开了思路。我附上了一个简单模型拟合问题上的训练-测试曲线，用来比较GD和DD（我的算法）的性能，以便让你从高层次了解该方法能保证什么。我强调这是一篇理论论文，所以要想应用到非常大的模型还有很长的路要走，但我认为这是一个好的第一步。对于一个定制的两层网络，一个简单的高维XOR模型进行了100次模拟。左边是用GD训练，右边是用我的方法训练。彩色带是25%到75%的分位数。我很乐意回答大家的问题，我计划有一天为这种训练方法编写一个兼容PyTorch的软件包，所以也欢迎任何功能建议。