标签
Maxime Labonne 分享了 Aayush Karan 的研究，该研究认为 SFT 泛化能力弱于 RL 的根源在于离策略数据，而非目标函数本身——将专家轨迹重写为与基模型自身输出一致的形式，其效果可媲美甚至超越 RL 与在线策略蒸馏（on-policy distillation），同时遗忘更少。