@maximelabonne: 这真是太棒了！动态微调（DFT）根据模型自身的 token 概率重新加权 SFT 损失，这产生了一个……
摘要
动态微调（DFT）被介绍为一种方法，它利用模型自身的 token 概率重新加权 SFT 损失，形成一个反馈循环，并添加前向KL散度来惩罚那些基础模型认为很可能但策略已将其推向零概率的 token。这条推文对实际应用中的SFT论文表示怀疑，但赞赏这一尝试。
查看缓存全文
缓存时间: 2026/05/21 19:37
这太巧妙了！
动态微调（DFT）根据模型自身的token概率重新加权SFT损失，从而形成反馈循环。
因此他们添加了正向KL散度，用于惩罚基础模型认为可能但策略已推向零概率的任何token。
DFT和正向KL散度具有相反的失败模式，因此它们（理论上）可以互相修复。
SFT论文在实践中从未成功过，但我喜欢这种尝试！
相似文章
论SFT的泛化：强化学习视角与奖励修正
本文从强化学习的视角分析了标准监督微调（SFT）的局限性，并提出了一种简单的梯度重新缩放方法——动态微调（DFT），该方法提高了LLM的泛化能力，并与离线RL性能相匹配。
GFT：基于无偏群组优势与动态系数修正，从模仿迈向奖励微调
# 论文页面 - GFT：基于无偏群组优势与动态系数修正，从模仿迈向奖励微调 来源：[https://huggingface.co/papers/2604.14258](https://huggingface.co/papers/2604.14258) ## 摘要 Group Fine-Tuning 通过利用多样化的回复群组和自适应权重边界来解决监督微调的局限性，从而提升训练稳定性与效率。大语言模型通常在后训练中使用[监督微调](https://hug
SFT到底应该学习哪些标记？基于标记修剪的数学推理视角
本文介绍了TrimSFT，一种用于监督微调的标记级重加权方法，通过聚焦中间logit间隔标记来增强数学推理，相比标准SFT显示出显著的性能提升。
基于熵-KL散度的令牌掩码：一种用于大型语言模型选择性微调的新方法
提出了 EKSFT，一种面向大型语言模型的选择性微调方法，该方法掩码具有高熵或与参考模型高KL散度的令牌，在注入任务知识的同时保留预训练分布。在数学推理基准上的实验表明，它优于标准SFT，并改进了后续的RL微调。
Elite-Weighted Supervised Fine-tuning用于目标导向分子优化
本文介绍了Elite-Weighted Supervised Fine-tuning（EW-SFT），这是一种用于目标导向分子优化的方法，它使用奖励来指导精英选择，并通过模型自身的损失进行更新，适用于各种生成架构和任务。