标签
动态微调（DFT）被介绍为一种方法，它利用模型自身的 token 概率重新加权 SFT 损失，形成一个反馈循环，并添加前向KL散度来惩罚那些基础模型认为很可能但策略已将其推向零概率的 token。这条推文对实际应用中的SFT论文表示怀疑，但赞赏这一尝试。
本文从强化学习的视角分析了标准监督微调（SFT）的局限性，并提出了一种简单的梯度重新缩放方法——动态微调（DFT），该方法提高了LLM的泛化能力，并与离线RL性能相匹配。