@aakaran31：SFT 并未过时！我们找到了一种让 SFT 与当前主流后训练方法相媲美的方法，泛化能力往往更好……

SFT 还没有死！🥳

我们找到了一种方法，让 SFT 能够匹敌当前主流的后训练方法，在泛化能力上往往优于 RL 和 OPSD，同时遗忘更少。🤯

继我们此前在采样推理方面的工作之后，我们现在把采样引入到后训练流程中。

1/n

如何在不遗忘既有能力的前提下，为基座模型注入全新的能力？

在 SFT 和 RL 之间，似乎已经出现了明显的胜者。🥇

RL 表现出强大的泛化能力 🏋️♂️，而 SFT 则容易死记硬背，并出现灾难性遗忘 😵💫。

2/n

RL 的成功很大程度上归功于 on-policy（在线策略）学习，即让模型从自己的生成结果中学习。但 SFT 有一个关键优势！

On-policy 学习必须通过反复采样才能找到成功的轨迹。而使用 off-policy（离线策略）数据时，这些轨迹是作为“特权信息“直接提供的。

3/n

如果我们能重塑这些 off-policy 特权数据，使其尽可能接近基座模型呢？这样一来，SFT 就能充分利用其中的信息信号，同时获得 on-policy 学习的收益。

事实证明，采样正是完成这项工作的完美工具！

4/n

我们希望从一个分布中采样：该分布在 KL 散度上最接近基座模型，同时输出的轨迹满足特权信息约束 C。

我们可以显式地写出这个目标分布。

5/n

如何从该分布中采样呢？当然用 MCMC 算法！🙂

回想 Metropolis-Hastings（MCMC），这是一种近似采样器，它通过迭代方式更新轨迹：提出重采样候选方案，并根据目标（未归一化的）似然对它们进行评分。

我们用了一个巧妙的技巧，将信息约束融入提议器中。这样，我们就不再把约束当作验证器使用，而是将其作为上下文信息用于生成候选方案，然后再根据基座模型的似然对这些方案进行精炼。

数据处理不等式告诉我们，随着 MCMC 过程的推进，我们有效的轨迹分布在 KL 散度上会越来越接近基座模型。

6/n

换句话说，MCMC 让我们能够将 off-policy 数据用作初始化，而在整个 MCMC 过程中逐步使其变得更加 on-policy。

将采样前后的轨迹似然绘制出来，可以直接展示似然提升的效果。

7/n

值得注意的是，我们的采样算法终于使 SFT 打破了人们对它的固有偏见。

与采样结合后，SFT 在多个领域和多种基座模型上，经常表现出比 RL 和 OPSD 等强 on-policy 学习基线更好的泛化能力和更少的遗忘。

8/n

采样还能够帮助模型学习到基座模型中原本不具备的能力，而不仅仅是增强已有能力！

我们观察到巨大的、稳定的差距：我们的 pass@k 曲线不仅超过了基座模型，也超过了 on-policy 学习，这表明我们能够注入真正更强的能力。

9/n

我们的采样算法是一个通用的基础算子，能够为可学习性塑造数据。

除了 SFT 之外，许多后训练任务的关键都在于找到既有用信号又符合模型原生分布的轨迹。采样提供了一种方法，可以有意识地构造这些轨迹，适用于 RL、OPD、自我博弈等场景。

10/n

非常感谢 @sitanch 和 @du_yilun 对这项工作的指导！！请查阅我们的论文、博客和代码以获取更多细节！

我们还将在 NeurIPS 上展示这项工作！🙂

论文：https://arxiv.org/abs/2610.02140 博客：https://aakaran.github.io/finetuning_with_sampling/… 代码：https://github.com/aakaran/finetuning-with-sampling…

11/n

@ 了一些可能感兴趣的人！

@ArnaudDoucet1 @agarwl_ @natolambert @ShamKakade6 @aviral_kumar2 @lateinteraction @willcb @xkianteb @canondetortugas @oneill_c @HannaHajishirzi @giffmana @maximelabonne @sirbayes @Scobleizer @lewtun @hbouammar @nrehiew @NoahZiems @kalomaze @IdanShenfeld @jonashubotter @KempeLab @archit_sharma97 @b_geist

这个工作的风格非常相似！本质上我们都在尝试有意识地构造熟悉但仍能提供信号的 rollout。采样的优势在于，这里存在一个漂亮的“最优目标分布“，我们可以从中找到这些 rollout，剩下的交给 MCMC 就可以了。很期待看到这与你们通过 spike-aware rewards 最终学到的教学方法有多契合！

没错！这就是“0 步 MCMC“，我们在完整论文中将其作为基线之一！

感谢提问！！我们这里想表达的核心观点是，我们拥有的采样算法能够将特权信息转化为一种轨迹，使其本质上就像模型自己采样出来的一样。

这并非 SFT 独有；实际上，你可以用它来补充 RL 在困难问题上无法获取信号时的 rollout，甚至可以在蒸馏过程中缩小学生与教师策略之间的差距。我们选择 SFT 作为示例，是因为它最能直观地展示这种方法的有效性：我们将 off-policy 数据塑造为 on-policy，即使是简单的 SFT 也能展现出非常强的学习特性。

所以实际上，我们并不是要重新排列现有的后训练流程，而是想证明采样是一个即插即用的算子，能够从你可能已有的数据中榨取出学习价值。

话虽如此，我们的论文中确实有一个实验表明，采样 SFT 可以用作更强的 RL 热启动，但这并不是我们最终瞄准的愿景。

我们在数学推理方面的一些更强结果是在 3B 模型上取得的，如果符合你们对“小模型“的定义的话。

谢谢 Alexi！！这是一个很好的问题！我认为答案取决于模型本身已经擅长什么和不擅长什么，细节可能比较零散，但对于那些我们真正需要特权信息/off-policy 数据的更难任务，我们可以通过采样+SFT 获得一个非常强的起点来注入能力，最后再在其上叠加 RL！这与当前的架构流程非常相似，这也是为什么把采样作为“即插即用“组件集成到后训练流程中，用于将特权信息转化为 on-policy 数据，看起来既强大又方便！

谢谢！从 token 层面来看，我们某个基线（例如数学）的一次 RL 运行可能需要 64 倍的推理成本（组大小为 4，共 16 个 epoch）。而在相同数据集上使用采样，按我们的参数设置大约是 32 倍的推理成本，所以总体上更便宜！另外，我们不会让采样的计算量随训练迭代次数增长；它只是训练前的一次性成本！

感谢 ❤️

哦有意思！你们当时用的是什么提议分布？根据我们的经验，特权自教师（privileged self-teacher）作为提议器效果相当不错。

是的！！我们这里重点关注的是 SFT，但总的来说，采样是一个定制化的算子，可以接受特权信息并输出“本质上是 on-policy 的 rollout“。

所以我们可以用它为 RL 中的困难问题获取带正向信号的 rollout，例如，也可以在 on-policy 蒸馏过程中使用它来缩小学生和教师之间的差距！

谢谢兄弟！！🫡

是的！代码在这里：

感谢你的美言！:)