@michalwols: Amazing talk on on policy self distillation on @yacinelearning 's channel

Amazing talk on on policy self distillation on @yacinelearning ’s channel https://t.co/mCCxcZsO6O

TL;DR: 本视频介绍了一种名为“自蒸馏”的策略后训练方法，通过将模型自身的 rollout 与丰富的环境反馈（如编译器错误）结合，生成密集的 token 级学习信号，显著提升效率，SDPO 达到 GRPO 准确率的速度快 6 倍、推理轨迹缩短 11 倍，SDFT 则让单个模型顺序学习多种技能而不遗忘。

背景：强化学习中的信号稀疏问题

目前，大语言模型的大多数后训练都通过类似 GRPO 的强化学习方法完成。其工作方式是：提出一个问题，让模型生成多个 rollout，然后用验证器给每个 rollout 打分——通常只是判断是否正确（是或否）。然后根据哪些尝试好、哪些不好来更新权重。问题在于，这种奖励信号极其稀疏：每个完整的 rollout 只得到一个分数。模型必须自己弄清楚在一千个 token 的思维链中，哪些 token 真正重要，这是一个相当棘手的信用分配问题。

自蒸馏：绕过稀疏奖励瓶颈

本视频探讨了一类方法，它们通过使用“自蒸馏”技术，完全绕开了这个瓶颈。核心思想是：在许多环境中，实际上已经存在丰富的文本反馈，比如编译器错误、运行时异常、裁判评估等。这些信息解释了尝试失败的原因，而当前的 RL 方法根本没有利用这些信息——在极端情况下，它们将所有信息压缩成一个二进制奖励。

自蒸馏的做法是：获取模型自身的 rollout，再将其输入回同一个模型，但现在根据从环境中得到的任何反馈进行条件化。它让模型重新评估自己的 token。在这种蒸馏设置中，教师和学生实际上是同一个模型，但教师看到了更多的上下文。这产生了密集的 token 级学习信号，同时由于只需在现有 rollout 上进行一次前向传播，因此成本低廉。

该方法由两个合作团队独立开发：

• 苏黎世联邦理工学院的 Jonas Kubatier 团队，为强化学习设置开发了 SDPO。
• 麻省理工学院的 Eden Shenfield（应拼写为 Idan Shenfeld），为持续学习（从演示中学习）开发了 SDFT。

两篇论文在 2026 年 1 月同时发布，实际上他们在 2025 年早些时候就见过面讨论这个想法。

方法的简单性与效果

这个范式的核心在于其简单性：利用模型自身的上下文学习能力来启动学习。效果非常出色：

• SDPO：达到 GRPO 准确率的速度比实际时间快六倍，并且产生的推理轨迹长度缩短了最多 11 倍。
• SDFT：让单个模型能够顺序学习多种技能而不会忘记之前学到的技能，而标准的 SFT 在这方面完全失败。

这类方法已经在生产环境中被采用，例如 Open Claw RL 系统 以及前沿开源模型 GLM 5 都在其后训练流程中使用了类似的方法。

嘉宾介绍与讨论

Idan Shenfeld 的背景与视角

Idan 是麻省理工学院的博士生，师从 Pulkit Agrawal，研究强化学习算法（主要针对大语言模型，也用于机器人）。读博前，他本科研究过强化学习，从事自动驾驶工作（参与通用汽车的大型自动驾驶项目），在 DeepMind 实习（2024 年夏季后训练团队成员）。他分享了对实际产品工作与研究工作的心态区别：

“当你从事实际产品或应用时，真正关心的是性能。理解只是获得正确性能的工具。有时，尽管理解有趣，研究也很有趣，但仅仅浏览数据集并清理它，就能带来比任何其他事情都大得多的性能提升。所以你需要克制自己，不要过分关注那些酷炫、有趣或新颖的东西，而是首先做好基础工作。然后才投入精力……作为研究人员，我们不关心具体的应用，我们带给世界的是新的理解、新的知识。这需要完全不同的视角。我不关心在某个基准上达到最先进水平……关键是你给社区带来了什么样的新理解、新知识、新视角。”

Yonas Sebuter 的背景与动机

Yonas 在苏黎世联邦理工学院攻读博士学位，导师是 Andreas Krause。他的研究主要集中在“测试时训练”（test-time training），即一旦模型被给定一个任务，可以在推理时继续训练它。主要动机是让模型在推理时部署到新环境中，然后在该环境中继续学习和探索，最终解决最初完全超出其初始能力分布的困难任务。他之前的工作重点是如何在新环境中进行有效探索。

从测试时学习到自蒸馏

Yonas 解释了 SDPO 如何从其之前的工作自然延伸：当你想通过梯度下降在测试时继续训练和改进语言模型时，有两个重要方面：1）如何高效地将数据转化为梯度更新（计算受限，必须充分利用信号）；2）通常需要更好的信号，从环境中提取尽可能多的信号。Idan 补充道，这种直觉来自编码场景：让 ChatGPT 生成代码后，把错误贴回去让它改进，它已经非常擅长理解自身错误的来源；自蒸馏正是将此过程正式化。

关于“RL razor”与遗忘问题

Idan 提到他的论文《RL razor: why online reinforcement learning forgets less》对他的影响：在线方法往往比离线方法（如 SFT 微调）遗忘更少。但这不能简单地说“我们就用 RL，把其他任何学习信号都扔掉”。自蒸馏提供了一种在线算法，能够从非常多样化的信号中学习。

巧合的独立发现

两人在 NeurIPS 2024 上碰面，互相展示正在做的项目——Yonas 展示 SDPO 的幻灯片，Idan 打开他的 Overleaf 草稿——发现两人想到了同一个核心算法创新，只是角度不同：Yonas 关注文本反馈（SDPO），Idan 关注从专家演示中学习（SDFT）。他们决定合作。这个巧合令人兴奋，因为这种想法趋同通常预示着一种学习范式的诞生，能够从非常丰富多样的数据中学习。

总结与未来

自蒸馏范式的简单性和有效性已经被多个团队独立验证，并且已经在实际系统中投入使用。它解决了 RL 后训练中的信号稀疏问题，同时支持持续学习，为语言模型的自我改进提供了新的方向。

Source: YouTube 视频链接