distillation

INTACT 使用一个小型外部编码器在冻结的骨干模型上诱导潜在推理，通过蒸馏将连续软令牌表示映射为潜在推理前缀，在 GSM8K 和多项跨域基准上提升准确率的同时将端到端延迟降低约 19%。

This paper proposes Critique-Augmented Agentic Fine-Tuning (CAFT), a framework where expert LLMs provide both corrected actions and textual critiques explaining student model mistakes, achieving an 8% average improvement over action-only distillation on agentic benchmarks like τ²-Bench and WebShop.

A paper proposing a likelihood-free post-training pipeline for diffusion language models combining outcome-routed distillation with ratio-free group-centred REINFORCE and a KL anchor, showing large tool-calling gains over a teacher that succeeds on only 18.6% of prompts.

论文提出一种针对扩散模型的“修正训练”框架，通过训练一个以基模型自身预测为输入的修正器来缩小训练-推理差距，显著提升无引导/无条件生成的样本质量，并可通过蒸馏将收益无损保留到基模型中。

ACEdit 提出一种结合自强制（Self-Forcing）训练、教师蒸馏与非对称条件化的方案，使多轮图像编辑在累积分布偏移下保持稳定，显著降低长序列编辑中的质量退化。

Waypoint-OPD 提出一种门控在线策略蒸馏方法，通过比较教师模型 RL 训练早期与晚期策略变化的方向一致性来过滤端点策略偏移，从而在数学与代码推理任务上提升学生模型的蒸馏效果，且仅需额外一次冻结教师评分。

这篇论文提出了一种用于扩散模型的校正训练方法，通过训练一个校正模块来细化去噪预测、减少暴露偏差，从而在无引导条件下显著提升样本质量，并可通过蒸馏将改进效果折算回基础模型以消除额外推理开销。

论文提出 Latent Compaction，通过测试时训练将 KV 缓存压缩为紧凑的文档特定表示，在冻结模型权重的前提下实现 32 倍压缩下 96.7% 的 RULER 准确率，显著优于 KVZip+ 等基线，并可跨模型规模与系列迁移。

The post links to Anthropic's research on distillation defenses, jokingly suggesting Anthropic is giving free publicity to the GLM model family again.

BELIEFWEAVER 是一个面向长时程智能体的失败恢复框架，通过维护关系型信念状态与隐式世界模型（IWM）评估修复假设，并将推理能力蒸馏至 9B 学生模型，在三个终端基准上显著提升最终得分并降低 54.8% 的教师 API 成本。

提出简化匹配蒸馏（SMD）框架，通过纯回归的on-policy速度回归与Pivot残差代理，实现无需辅助评分模型或对抗训练的4步少步扩散生成，在图像、3D、视频及音视频联合生成任务上超越强基线并可扩展至33B参数。

NVIDIA的研究提出Semi-OPD替代方案，发现在初始学生的离线rollout上进行蒸馏通常优于on-policy蒸馏，在17组教师-学生配对中14次胜出，最高提升13.6%准确率和11.4倍训练加速。

Anthropic reports major progress in defending Claude against industrial-scale distillation attacks, claiming a 90-99% reduction in harvested data, and highlights risks from foreign labs like Zhipu's GLM-5.3 and Moonshot's Kimi models being used for military and surveillance purposes.

提出Hindsight Structured Advice Distillation（HSAD），用一个小型advisor模型根据输入生成结构化建议并注入冻结的executor agent提示中，advisor通过分析执行失败与任务特征进行监督微调训练；在FrontierFinance基准上将Samaya研究agent的合格率从52.9%提升至56.6%，且成本更低，并在WebShop、BIRD和ExpertLongBench上验证了泛化性。

提出一种通过蒸馏最优传输在仅有100-500个配对样本下对齐两个独立预训练单模态编码器的方法，在Flickr30k、MS-COCO和ChEBI-20上以相同锚点预算超越现有方法。

EventLens 提出一种以视觉为中心的强化学习框架，通过事件结构恢复（事件分割、进程判别、多事件关系推理）来训练多模态大模型，实现可验证奖励的 GRPO 训练与多教师在线策略蒸馏，在 Qwen3-VL 上提升时序理解且降低训练成本。

A community fine-tune of Qwen3.8-27B (Coder390-EfficientThink) is released, post-trained with SFT + RLOO + MTP on 3.9M lines of code and distilled from frontier models, boosting LiveCodeBench to 90 while cutting reasoning tokens by ~44-53%. Apache-2.0 GGUF builds run locally on 24GB GPUs via llama.cpp or SGLang with DFlash2 speculative decoding.

SAIL 是一个开源的科学智能体模型（35B 总参数、3B 激活参数），通过科学感知改进循环（science-aware loop）构建训练任务并结合 SFT、专家训练、多教师在策略蒸馏和 agentic RL 训练，面向文献研究、科学编码和多步研究流程，在科学基准上以远少于领先开源模型的参数量取得有竞争力的表现。

本文证明了 Drifting Models 与 Distribution Matching Distillation (DMD/DMD2) 在优化目标上的等价性，并基于此视角提出了改进的 Multi-Bandwidth Distribution Matching Distillation (MBDMD) 方法，用于提升一步生成模型的性能。

研究发现子潜意识学习（subliminal learning）不仅能传递简单偏好，还能通过蒸馏传递新能力（预测随机初始化 MLP 的输出）、后门（遇女性名字用法语回答）以及在国际象棋环境中的黑客倾向，表明蒸馏可能在不经检测的情况下传播隐蔽的失准风险。