distillation

BELIEFWEAVER 是一个面向长时程智能体的失败恢复框架，通过维护关系型信念状态与隐式世界模型（IWM）评估修复假设，并将推理能力蒸馏至 9B 学生模型，在三个终端基准上显著提升最终得分并降低 54.8% 的教师 API 成本。

提出简化匹配蒸馏（SMD）框架，通过纯回归的同策略速度回归与Pivot残差代理，实现无需辅助评分模型或对抗训练的4步少步扩散生成，在图像、3D、视频及音视频联合生成任务上超越强基线，并可扩展至330亿参数。

NVIDIA的研究提出Semi-OPD替代方案，发现在初始学生的离线rollout上进行蒸馏通常优于on-policy蒸馏，在17组教师-学生配对中14次胜出，最高提升13.6%准确率和11.4倍训练加速。

Anthropic 报告称，在防御针对 Claude 的工业化规模蒸馏攻击方面取得了重大进展，声称采集到的数据量减少了 90-99%，并指出来自智谱 GLM-5.3 和月之暗面 Kimi 等外国实验室的模型可能被用于军事和监控用途的风险。

提出 Hindsight Structured Advice Distillation（HSAD，后见结构化建议蒸馏），使用一个小型顾问模型根据输入生成结构化建议，并将其注入冻结的执行智能体提示中；通过分析执行失败与任务特征，对顾问模型进行监督微调训练。在 FrontierFinance 基准上，将 Samaya 研究智能体的合格率从 52.9% 提升至 56.6%，且成本更低，并在 WebShop、BIRD 和 ExpertLongBench 上验证了其泛化能力。

提出一种通过蒸馏最优传输在仅有100-500个配对样本下对齐两个独立预训练单模态编码器的方法，在Flickr30k、MS-COCO和ChEBI-20上以相同锚点预算超越现有方法。

EventLens 提出一种以视觉为中心的强化学习框架，通过事件结构恢复（事件分割、进程判别、多事件关系推理）来训练多模态大模型，实现可验证奖励的 GRPO 训练与多教师在线策略蒸馏，在 Qwen3-VL 上提升时序理解且降低训练成本。

Qwen3.8-27B 的社区微调版本（Coder390-EfficientThink）正式发布，基于 390 万行代码完成 SFT + RLOO + MTP 后训练，并从前沿模型中蒸馏知识，LiveCodeBench 提升至 90，同时推理 token 消耗减少约 44-53%。Apache-2.0 协议的 GGUF 构建可借助 llama.cpp 或 SGLang 配合 DFlash2 投机解码，在 24GB 显卡上本地运行。

SAIL 是一个开源的科学智能体模型（35B 总参数、3B 激活参数），通过科学感知改进循环（science-aware loop）构建训练任务并结合 SFT、专家训练、多教师在策略蒸馏和 agentic RL 训练，面向文献研究、科学编码和多步研究流程，在科学基准上以远少于领先开源模型的参数量取得有竞争力的表现。

本文证明了 Drifting Models 与 Distribution Matching Distillation (DMD/DMD2) 在优化目标上的等价性，并基于此视角提出了改进的 Multi-Bandwidth Distribution Matching Distillation (MBDMD) 方法，用于提升一步生成模型的性能。

研究发现子潜意识学习（subliminal learning）不仅能传递简单偏好，还能通过蒸馏传递新能力（预测随机初始化 MLP 的输出）、后门（遇女性名字用法语回答）以及在国际象棋环境中的黑客倾向，表明蒸馏可能在不经检测的情况下传播隐蔽的失准风险。

InstantFusion 提出一个轻量级共享潜空间接口，通过模型特定的潜变量自编码器将异构图像生成器的中间去噪状态投影到统一空间，实现跨模型的状态转移，可用于加速、多偏好组合和跨架构蒸馏。

发布者声称该模型基于 Qwen3.8 27B，使用 390 万行代码数据进行专项微训，融合高效思考机制压缩推理长度，并经由 Opus5.5、GPT6Astra、Grok4.7、DSV4Pro 蒸馏对齐，配备 K3 kernel，再通过 SFT、RLOO 强化学习与 MTP 多词元预测三重训练，同时集成 DFlash2 注意力加速。

该论文研究了 on-policy 蒸馏（OPD）是否总是优于离线方法，提出 Semi-OPD——在初始学生的离线 rollout 上进行蒸馏。在 17 组师生模型对中，Semi-OPD 在 14 组中优于 OPD，最高提升 13.6% 准确率并实现 11.4 倍训练加速。

论文提出 SAPD（Step-Aligned Privileged Distillation），一种无需 rollout 的自蒸馏方法，将固定示范转化为与推理步骤对齐的分布式监督，在数学推理基准上媲美在线强化学习，并实现约 2 倍训练加速。

OnlineQAT 采用两阶段框架：先通过块级 QAT 获得低位初始化，再在学生自生成的轨迹上，利用冻结的全精度教师进行反向 KL 的在线蒸馏，从而缓解固定补全训练与部署时学生自采样前缀之间的分布错配。在 Qwen3-1.7B 上，OnlineQAT 在 W3A16（57.28）和 W2A16（32.52）设置中取得对比方法中的最佳平均分，较 ReasoningQAT 分别提升 2.90 和 0.44 分。

一篇思辨性文章提出假说：美国担心中国进行模型蒸馏，正导致OpenAI和Anthropic等实验室刻意模糊模型的推理过程，这不仅恶化了对齐的可见性，还制造出连其所有者都无法审问的黑箱系统。

本文提出 data-space iteration 框架，将少步生成的迭代过程从概率流空间移至数据空间，从而完全移除对流离散化时间表的依赖，并在 ImageNet 256x256 类条件生成上以最小改动集成 DMD，超越了需要手动调参时间表的基线方法。

该论文提出 reViT，通过在每个递归深度用一个共享专家库的凸组合来表示 FFN，使单个 Transformer 块以递归方式应用即可在相近推理 FLOPs 下匹配全深度视觉编码器的精度，并支持弹性深度部署与权重量级压缩。

研究发现 on-policy 蒸馏（reverse KL）主要提升语言模型的组合推理能力，而几乎不传递新的事实知识；改用 forward KL 可恢复事实传递。该论文通过受控合成框架解耦蒸馏配方，揭示了技能与知识转移之间的不对称性。