offline-alignment

本文介绍了PNAPO，一种针对整流流模型的离线偏好优化框架，该框架通过噪声样本增强偏好数据，并采用动态正则化来提高训练效率和样本效率。