@maximelabonne: 优质文章：SFT 泛化能力弱于 RL 的原因在于数据是离策略（off-policy）的，而非 SFT 目标函数本身。重写专…

X AI KOLs Timeline 论文
supervised-fine-tuning reinforcement-learning post-training off-policy-data reasoning on-policy-sampling

摘要

Maxime Labonne 分享了 Aayush Karan 的研究，该研究认为 SFT 泛化能力弱于 RL 的根源在于离策略数据，而非目标函数本身——将专家轨迹重写为与基模型自身输出一致的形式，其效果可媲美甚至超越 RL 与在线策略蒸馏（on-policy distillation），同时遗忘更少。

优质文章：SFT 泛化能力弱于 RL 的原因在于数据是离策略（off-policy）的，而非 SFT 目标函数本身。 将专家的轨迹重写成与基模型自身输出一致的风格，其效果可以匹敌甚至超越在线策略（on-policy）方法。额外的好处是：它的遗忘也更少。
查看原文
查看缓存全文

缓存时间: 2026/10/03 02:47

值得一读：SFT 泛化能力不如 RL，问题出在数据是 off-policy 的，而不是 SFT 目标本身。

把专家轨迹改写成与基座模型输出风格一致的样子，就能媲美甚至超越 on-policy 方法。附带的好处是：遗忘也更少。

Aayush Karan (@aakaran31)： SFT 还没死！🥳

我们找到了让 SFT 与当前主流后训练方法媲美的方法，其泛化能力往往更好，遗忘也比 RL 和 OPSD 更少。🤯

在我们此前关于采样推理（sampling for reasoning）的工作基础上，我们现在把采样引入了后训练流程。

1/n

相似文章

论SFT的泛化：强化学习视角与奖励修正

Papers with Code Trending

本文从强化学习的视角分析了标准监督微调（SFT）的局限性，并提出了一种简单的梯度重新缩放方法——动态微调（DFT），该方法提高了LLM的泛化能力，并与离线RL性能相匹配。

当RL在SFT后失效：恢复模型可塑性以实现稳健的SFT到RL交接

arXiv cs.LG

本文研究了在大型语言模型的先SFT后RL流程中，过度监督微调（SFT）后模型可塑性的丧失问题，并提出了一种名为Rejuvenation的方法，该方法通过基于基线的模型融合和定向神经元重置来恢复可塑性，从而持续提升RL性能。