noise-aware

本文提出了GAC，一种用于大型语言模型混合SFT-RL后训练的噪声感知自适应混合控制器。它推导出一个闭式混合权重，平衡梯度噪声与SFT-RL分歧，在多个基准测试中取得一致的改进，且额外开销极小。

本文介绍了PNAPO，一种针对整流流模型的离线偏好优化框架，该框架通过噪声样本增强偏好数据，并采用动态正则化来提高训练效率和样本效率。