标签
本文提出了 Stepwise-Querying 方法，在不访问黑盒教师模型内部思维链轨迹的情况下，引导其生成针对各个步骤的解释，并将这些解释整合为训练数据，用于对较小的学生模型进行监督微调。在涵盖两个教师模型、两个学生模型和四个数学／代码基准的 16 项比较中，该方法在 14 项中取得最高分，并引入了 SEIG 诊断指标，用于衡量逐步解释的信息增益。
CAMEL 提出了一种采用非对称掩码策略的跨架构蒸馏框架，将 RETFound 等大型视网膜基础模型的知识迁移到超轻量级学生模型，在保持准确性的同时大幅降低计算成本，以便在资源受限的临床环境中部署。
本文运用机制可解释性工具——包括线性 CKA、logit lens、注意力分解、稀疏自编码器和激活修补（activation patching）——对 GPT-2 与 DistilGPT-2 进行对比分析，揭示了一种压缩-坍缩二分现象：IOI 电路完全坍缩，而 Greater-Than 电路则通过层重映射得以保留。
本文提出 CARD（认知对齐推理蒸馏），一种基于强化学习的推理蒸馏框架，将大型推理模型的求解轨迹转化为与学生模型认知能力对齐的教学轨迹，通过分布对齐奖励和逻辑连贯性奖励，在不重新采样的情况下提升蒸馏效果。
本文提出教师演化自蒸馏（TESD），通过以奖励引导的目标持续优化自教师模型，并自适应地降低教师指导不可靠样本的权重，从而改进在策略自蒸馏，在多个数据集和模型规模上均稳定优于 token 级和序列级基线方法。
该论文研究如何通过联合训练策略，让预训练语言模型同时支持单次前向和循环推理两种路径，在保留单次推理质量的同时获得循环计算带来的性能增益。
该论文通过受控实验研究了不同意见混合比例的后训练语料如何在SFT、DPO和GRPO等五种后训练路径中放大LLM的价值偏好失衡，并发现这些偏好可通过蒸馏传递给学生模型，建议在开发和评估LLM时应同时考虑语料意见构成与后训练方法的选择。
提出 Boa Compressor，一个基于 Mamba 状态空间模型的即插即用在线上下文压缩器，通过单次线性时间编码任意长度上下文，并以蒸馏方式训练以匹配完整上下文下的下一词元分布，在相同压缩率下匹敌或超越离线压缩基线且延迟降低一个数量级。
提出REDAR：将类增量学习中的正则化强度选择建模为序列决策问题，用轻量级强化学习智能体根据当前性能与数据统计动态输出每个阶段的知识蒸馏系数，在CIFAR-100和Tiny-ImageNet上降低了遗忘并提升了前向迁移。
本文提出了一种分层智能体蒸馏框架，将同策略性拆分为两个层面——生成交互历史的策略和生成动作前缀的策略——并发现，由学生模型产生的交互历史与教师模型生成的动作相结合，能提供最强的学习信号；此外，除同策略数据的总量外，数据混合方式与调度安排也很重要。
ThinkBit 是一个严格标量的两比特量化框架，通过分层比特分配、Gumbel-softmax 码字搜索、基于知识蒸馏的缩放重校准以及量化感知训练来保留模型的推理能力。在 Qwen3-1.7B 和 14B 模型上，它以远小于 bfloat16 的体积取得了接近原模型的 MATH-500 成绩。
本文表明，重新生成目标模型的回答会缩小知识蒸馏等草稿模型训练目标在推测解码中带来的收益，并通过多项对照实验，在视觉语言（Qwen3-VL-8B）和纯文本（Qwen3-4B）场景中复现了这一发现。
该论文提出了共同支持集蒸馏（Common-Support Distillation，CSD），这是一种基于 logits 的统一跨分词器知识迁移框架。该框架在教师模型与学生模型之间构建共享支持集，并通过单一目标匹配由此诱导的分布，在多种教师—学生模型配置下均优于现有的跨分词器蒸馏方法。
AnoMix 提出一种多教师排序蒸馏方法（CoRank），将多个异构无监督时间序列异常检测器蒸馏为单一轻量学生模型（<80k 参数），在七个基准数据集上优于单个检测器和静态分数集成，其零样本变体还能在未见数据集上超越大型时间序列基础模型。
论文提出了 Ask-to-Distill（A2D）框架，通过强化学习训练一个以学生模型初始化的合成器，生成能够激发教师密集监督信号的合成问题，从而实现无需参考答案的 on-policy 蒸馏。该方法在数学、代码和智能体任务上，相比未优化的提示词和真实问题库，均提升了性能并更有效地缩小了与教师模型的差距。
论文提出 projected distillation，通过将学生的失败尝试最小编辑为正确目标，实现近似 on-policy 的学习信号，在数学、代码、科学和工具使用等领域显著优于 GRPO 和 on-policy distillation 等基线。
本文提出 CA-MOPD，通过合并强化学习专家并利用验证器估算的师生能力差距来调整多教师在线蒸馏的监督强度，在数学、代码生成和指令遵循六个基准上超越现有 MOPD 方法。
TraceForge 提出一种两阶段（监督+对抗）方法，从教师答案中生成匹配学生模型自身风格的推理轨迹，无需访问隐藏思维链，在 HumanEval+ 和 MBPP+ 等编码基准上显著超越使用教师原始思考内容的训练效果。
Ask-to-Distill 提出了一种优化合成问题的框架，通过将教师与学生之间的分布差异作为代理信号，在无需参考答案的情况下提升同策略蒸馏的效果，在数学推理、代码生成和智能体任务上优于未优化的问题集和真实问题库。
ECHOES 提出一种通过递归历史压缩与特权在线蒸馏来增强长时程 GUI 智能体状态保持能力的方法，无需在部署时保留历史截图即可取得有竞争力的性能，并发布了细粒度诊断基准 ECHOESBMK。