Tag
The paper proposes an inverse reasoning LLM that generates reasoning traces conditioned on answers, enabling efficient self-distillation from answer-only data as a middle ground between SFT and RL. Using Qwen3-0.6B on Countdown and GSM8K, a single offline distillation round roughly doubles pass@1 on hard prompts and the inverse model doubles as a verifier, raising best-of-n selection accuracy from 0.753 to 0.969.
VASPO 将自蒸馏教师与 PPO 中的 critic 结合，通过 token 级优势与有界概率比率改进推理训练，在六个数学推理基准上相比 PPO 显著提升 Qwen3-4B 与 OLMo3-7B 的准确率。
该论文对智能体强化学习中的自蒸馏方法进行了系统性评测，对比十种代表性方法与GRPO在四个基准上的表现，发现没有方法能稳定超越GRPO，且强最终性能可能掩盖不稳定的训练过程。
该论文研究了On-Policy Self-Distillation（OPSD）在LLM自我改进过程中导致已有能力退化的问题，发现这种退化与隐藏表示几何结构恶化（簇内紧凑性和簇间分离度下降）相关，并提出表示几何正则化（RGR）方法，在不改变原有优化流程的情况下有效缓解能力退化。
论文提出VRSD（verbal regularization self-distillation），通过系统提示调节teacher对特权信息的使用，抑制on-policy自蒸馏中的捷径推理与熵坍缩，在11/12个模型-任务设置上平均提升Pass@1达3.9个百分点。
Lapras提出了一种针对时间序列语言模型(TSLM)的后训练框架，通过教师-学生自蒸馏实现连续隐空间推理，在五个时间序列问答基准上平均F1提升最高10.79%，同时生成token减少23.9倍。
该论文提出 agentic SElf-distilLation with environmental Feedback modeling (SELF) 框架，将环境反馈建模与后见自蒸馏联合优化，以在缺乏可验证奖励的交互环境中提升语言智能体的训练效果，在 τ-bench 和 AppWorld 基准上显著优于 SDPO 和 GRPO。
该论文提出Synthetic Self-Distillation (SynthSelf)，通过借助同家族稍大的对齐模型进行合成自蒸馏，实现小型模型的持续后训练，在保持原有分布的同时兼顾新能力获取与知识保留，并在多个基准上超越现有方法。
The paper introduces MIRROR, a self-distillation framework from Baidu that shifts LLM personalization from reference-token imitation to internalizing user preferences via on-policy distributional alignment, with a MIRROR-F focal plug-in that improves content quality while reducing catastrophic forgetting across benchmarks and model scales.
这篇论文提出了SPECTRUM，一种用于循环自蒸馏（Looped Self-Distillation）的近端谱调制方法，通过从固定参考锚点重新估计敏感损失的键/值几何结构，在代码生成中保留正确解的多样性，实验表明其在MBPP上保留了89.9%的初始AST解丰富度，显著优于普通自蒸馏。
SpatialOPSD 提出了一种非策略自蒸馏框架，将空间编码智能体的已验证执行轨迹作为特权信息蒸馏进多模态大模型，通过重复感知蒸馏（重复掩码 + 不似然正则化）缓解信息泄漏，实现无工具的空间推理，并在空间及 OOD 基准上超越 SFT 和 GRPO。
本文提出MIMESIS，一个基于真实用户对话与显式推理监督训练的专用用户模拟器（9B模型），在行为保真度上超越前沿模型；研究还将该模拟器冻结后用于多轮强化学习训练智能体，并提出Coached On-Policy Self-Distillation（CSD）方法，在九个未见用户模拟器上实现更强泛化性能。
VisionWeave introduces elastic visual representation weaving as a native capability of MLLMs, combining a gated spatial pooler and a granularity router to adaptively allocate visual tokens. Built on Qwen3.8-27B, it saves 43.0% of tokens while retaining 98.9% of performance and delivers 2.3x throughput gains on SGLang serving.
论文提出 Self-Retrospection Distillation (SRD)，通过让策略在行动前预测可能遇到的陷阱，并用事后轨迹的自蒸馏对齐前瞻预测，解决了 GRPO 类方法中大量全同奖励组导致零梯度的问题；在 2B 模型 98% 全失败组的场景下，GRPO+SRD 将训练成功率从 0% 提升至 60.6%。
该论文提出了 Intent-Eval 基准来系统研究大语言模型在多轮对话中追踪用户意图变化的能力，发现模型会将已被拒绝或替换的提议误当作有效要求（mentioned-as-in-effect 混淆），并提出 Intent-OPSD（基于决策的在策略自蒸馏框架）来提升模型对活跃意图的遵循能力。
The paper introduces ASCENT, a method for online agentic test-time training that lets an LLM agent improve its own weights across tasks by self-distilling verified execution trajectories into persistent LoRA updates, evaluated on ALFWorld, WebShop, and AppWorld.
The paper introduces Activation-Conditioned Self-Distillation (ACSD), which extracts a steering vector from activation contrasts between a model's correct and incorrect self-generated trajectories to build a frozen self-teacher, achieving state-of-the-art mean accuracy across five models on mathematical benchmarks, including 71.9% on DeepSeek-R1-0528-Qwen3-8B.
Pivot-SD（EMNLP 2026 Oral）提出一种面向掩码扩散语言模型的高效自蒸馏方法，通过信息增益识别关键的"pivot"去噪步骤并仅对这些步骤进行奖励/惩罚，仅用200个问题在数学与代码任务上以更少算力超越全序列SFT和在线RL基线。
This paper analyzes why pointwise clipping of the forward-KL objective in on-policy self-distillation (OPSD) can backfire: it proves and empirically shows that clipped objectives can push token probabilities away from the teacher, causing persistent token repetitions in reasoning outputs.
The paper proposes position-selective self-distillation for training LLM judges from natural language feedback, using per-position entropy shifts to mask memorization-prone tokens and improve out-of-distribution generalization over outcome-supervised RL methods like GRPO by 2–9 points on subjective tasks.