distillation

INTACT 使用一个小型外部编码器在冻结的骨干模型上诱导潜在推理，通过蒸馏将连续软令牌表示映射为潜在推理前缀，在 GSM8K 和多项跨域基准上提升准确率的同时将端到端延迟降低约 19%。

本文提出了批评增强智能体微调（Critique-Augmented Agentic Fine-Tuning，CAFT），这一框架由专家大语言模型同时提供修正后的动作和解释学生模型错误的文字评析，在 τ²-Bench 和 WebShop 等智能体基准测试中，相较于仅基于动作的蒸馏方法，平均性能提升了 8%。

一篇论文提出了一种面向扩散语言模型的无似然后训练流程，将按结果路由的蒸馏与无需概率比、以组为中心的 REINFORCE 及 KL 锚定相结合，相较于仅在 18.6% 的提示上成功的教师模型，在工具调用方面取得了显著提升。

论文提出一种针对扩散模型的“修正训练”框架，通过训练一个以基模型自身预测为输入的修正器来缩小训练-推理差距，显著提升无引导/无条件生成的样本质量，并可通过蒸馏将收益无损保留到基模型中。

ACEdit 提出一种结合自强制（Self-Forcing）训练、教师蒸馏与非对称条件化的方案，使多轮图像编辑在累积分布偏移下保持稳定，显著降低长序列编辑中的质量退化。

Waypoint-OPD 提出一种门控在线策略蒸馏方法，通过比较教师模型强化学习训练早期与晚期策略变化的方向一致性来过滤端点策略偏移，从而在数学与代码推理任务上提升学生模型的蒸馏效果，且仅需额外一次冻结教师评分。

本文提出了一种用于扩散模型的校正训练方法，通过训练校正模块来细化去噪预测、缩小训练与推理之间的差距，从而在无引导条件下显著提升样本质量，并可通过蒸馏将改进效果整合回基础模型，避免额外的推理开销。

论文提出 Latent Compaction，通过测试时训练将 KV 缓存压缩为紧凑的文档特定表示，在冻结模型权重的前提下实现 32 倍压缩下 96.7% 的 RULER 准确率，显著优于 KVZip+ 等基线，并可跨模型规模与系列迁移。

这篇帖子链接了 Anthropic 关于蒸馏防御的研究，并开玩笑地暗示 Anthropic 又在给 GLM 模型系列免费做宣传了。

BELIEFWEAVER 是一个面向长时程智能体的失败恢复框架，通过维护关系型信念状态与隐式世界模型（IWM）评估修复假设，并将推理能力蒸馏至 9B 学生模型，在三个终端基准上显著提升最终得分并降低 54.8% 的教师 API 成本。

提出简化匹配蒸馏（SMD）框架，通过纯回归的同策略速度回归与Pivot残差代理，实现无需辅助评分模型或对抗训练的4步少步扩散生成，在图像、3D、视频及音视频联合生成任务上超越强基线，并可扩展至330亿参数。

NVIDIA的研究提出Semi-OPD替代方案，发现在初始学生的离线rollout上进行蒸馏通常优于on-policy蒸馏，在17组教师-学生配对中14次胜出，最高提升13.6%准确率和11.4倍训练加速。

Anthropic 报告称，在防御针对 Claude 的工业化规模蒸馏攻击方面取得了重大进展，声称采集到的数据量减少了 90-99%，并指出来自智谱 GLM-5.3 和月之暗面 Kimi 等外国实验室的模型可能被用于军事和监控用途的风险。

提出 Hindsight Structured Advice Distillation（HSAD，后见结构化建议蒸馏），使用一个小型顾问模型根据输入生成结构化建议，并将其注入冻结的执行智能体提示中；通过分析执行失败与任务特征，对顾问模型进行监督微调训练。在 FrontierFinance 基准上，将 Samaya 研究智能体的合格率从 52.9% 提升至 56.6%，且成本更低，并在 WebShop、BIRD 和 ExpertLongBench 上验证了其泛化能力。

提出一种通过蒸馏最优传输在仅有100-500个配对样本下对齐两个独立预训练单模态编码器的方法，在Flickr30k、MS-COCO和ChEBI-20上以相同锚点预算超越现有方法。

EventLens 提出一种以视觉为中心的强化学习框架，通过事件结构恢复（事件分割、进程判别、多事件关系推理）来训练多模态大模型，实现可验证奖励的 GRPO 训练与多教师在线策略蒸馏，在 Qwen3-VL 上提升时序理解且降低训练成本。

Qwen3.8-27B 的社区微调版本（Coder390-EfficientThink）正式发布，基于 390 万行代码完成 SFT + RLOO + MTP 后训练，并从前沿模型中蒸馏知识，LiveCodeBench 提升至 90，同时推理 token 消耗减少约 44-53%。Apache-2.0 协议的 GGUF 构建可借助 llama.cpp 或 SGLang 配合 DFlash2 投机解码，在 24GB 显卡上本地运行。

SAIL 是一个开源的科学智能体模型（35B 总参数、3B 激活参数），通过科学感知改进循环（science-aware loop）构建训练任务并结合 SFT、专家训练、多教师在策略蒸馏和 agentic RL 训练，面向文献研究、科学编码和多步研究流程，在科学基准上以远少于领先开源模型的参数量取得有竞争力的表现。

本文证明了 Drifting Models 与 Distribution Matching Distillation (DMD/DMD2) 在优化目标上的等价性，并基于此视角提出了改进的 Multi-Bandwidth Distribution Matching Distillation (MBDMD) 方法，用于提升一步生成模型的性能。

研究发现子潜意识学习（subliminal learning）不仅能传递简单偏好，还能通过蒸馏传递新能力（预测随机初始化 MLP 的输出）、后门（遇女性名字用法语回答）以及在国际象棋环境中的黑客倾向，表明蒸馏可能在不经检测的情况下传播隐蔽的失准风险。