dynamic-fine-tuning

动态微调（DFT）被介绍为一种方法，它利用模型自身的 token 概率重新加权 SFT 损失，形成一个反馈循环，并添加前向KL散度来惩罚那些基础模型认为很可能但策略已将其推向零概率的 token。这条推文对实际应用中的SFT论文表示怀疑，但赞赏这一尝试。