gradients

本文逐步追踪了PyTorch的自动微分引擎如何为物理信息神经网络训练计算梯度，包括物理残差和参数梯度所需的两个层次的微分，并使用一个简单的MLP和ODE示例。

本文通过更新几何研究语言模型强化学习中的奖励作弊，识别出优化漂移是一个关键因素。它提出可信方向投影，将梯度约束在干净的参考子空间内，从而延迟捷径利用并保持任务性能。