标签
论文提出 WISD（弱化诱导的同策略自蒸馏），通过将大型推理模型与其量化弱化版本进行对比来生成训练信号，在无需特权数据的情况下实现自蒸馏，在数学与代码推理基准上平均提升 4.0–5.5 个百分点，并达到最先进性能。
该论文提出 Fin-SD（hindsight self-distillation），一种无需外部教师模型的本地化自蒸馏方法，用于提升小型开放权重模型的多步金融推理能力；实验发现增益主要来自监督位置而非提示内容，且与基于完整参考解答的自蒸馏精度相当但少生成 9.5% token。
本文提出条件对比外推在线蒸馏（CCE-OPD），通过让教师模型对完整问题与掩码条件版本进行对比评估，降低教师在学生生成前缀上偏好无效续写的风险，在六个数学基准上相较标准OPD提升avg@8约1.60-1.95个百分点。
论文提出VRSD（言语正则化自蒸馏），通过系统提示调节teacher对特权信息的使用，抑制on-policy自蒸馏中的捷径推理与熵坍缩，在11/12个模型-任务设置上平均提升Pass@1达3.9个百分点。
论文提出了 OLIVE，一种在线知识蒸馏方法，由学生生成前缀、教师在此基础上继续生成，旨在解决现有蒸馏方法中协变量偏移与监督信号碎片化的问题。在相当的训练预算下，OLIVE 在推理任务和智能体任务上的表现优于 on-policy 蒸馏和离线 SFT。
论文提出了Reasoning-Progress-Aware Reward Filtering for On-Policy Distillation (R2-OPD) 来解决教师派生奖励与真实推理进展之间的不匹配问题，提高语言模型训练中的推理性能。
本文提出了自适应熵蒸馏（AED）方法，该方法利用教师熵动态校准知识蒸馏中的词元级模仿强度，在指令跟随和数学推理基准测试上取得了卓越性能。
ReflectRL是一种通过反思“黄金负轨迹”（专家模型失败的推理尝试）来学习的框架，随后将这种反思性推理迁移回直接推理，从而在多个基准上提升大语言模型的性能。
本文介绍了同策略数据演化（ODE）和一种视觉原生智能体框架，以提升多模态深度搜索智能体的性能。通过实现视觉证据的可重用性和闭环数据生成，ODE 显著提升了 Qwen3-VL 智能体在多个基准测试中的表现，超越了 Gemini 2.5 Pro。