distillation

研究人员发现了一种通过API从前沿AI模型中提取隐藏推理痕迹的方法，暴露了个人信息泄露风险，并使大规模蒸馏攻击成为可能。研究结果还表明，美国模型的推理能力可能被蒸馏到中国模型Kimi K3中，但尚无定论。

This paper proposes an adaptive supervised anchoring framework for on-policy self-distillation, addressing the problem of rollout-conditioned signal degradation in language model training. The method separates rollout-conditioned distribution matching from canonical-context supervision, improving task acquisition while preserving general capabilities.

This paper proposes amortizing the high token cost of reasoning-mode LLMs by distilling domain-specific skills from existing trajectories into system prompts, recovering most of the reasoning gap on agentic benchmarks while emitting far fewer tokens.

DistilVDR is a compact 524M visual document retriever distilled from an 8B teacher via cosine alignment, achieving near-teacher accuracy on ViDoRe with 15.6x smaller indexes and faster indexing.

一位研究者讨论了关于中国实验室从 Claude Code 和 Codex 逆向工程出推理轨迹以改进开放权重模型的传闻，并分享了一篇关于 Trace Inversion 模型的论文，该模型可以从输出中重建推理轨迹。

一篇关于AI模型竞争的播客内容，讨论数据重要性、蒸馏与预训练创新，以及与Evolvent AI联创孟繁青的访谈，涉及合成数据、RSI和国内模型差异等话题。

This paper proposes scaffold-mediated post-training, a paradigm where procedural scaffolds co-evolve with LLM parameters through discovery, distillation, and dynamic recompilation. On FeatureBench, automatically discovered skills improve pass rate by 8.1pp, with a 27.7% pass rate after distillation.

本文研究了语言模型中的阈下学习，表明偏见可以通过看似随机的合成数据从教师模型传递到学生模型。作者发现，向权重添加高斯噪声会增加迁移程度，并且学生不仅继承了语义偏见，还继承了所使用干预的类型，这对训练安全和数据审计具有重要意义。

StepReflect将移动智能体的逐步GUI反思重构为监督式结构化预测，在AndroidWorld上实现了比GPT-5.2更高的转换准确率，同时降低了API成本。

Proposes Woodpecker Distillation, a weak-to-strong training framework that uses weak probe models to identify and repair local reasoning bugs in stronger models via contrastive local interventions, improving performance on math reasoning benchmarks.

黄仁勋被问及开源模型公司是否应被允许蒸馏闭源模型，他表示蒸馏不是抄袭，而是智能的基本方式。

提出了门控后见蒸馏（GHD）方法，利用未来截图作为训练期间的特权信息，恢复移动GUI智能体的正确推理，在AndroidWorld和AndroidLab上两个视觉语言模型中提升了任务成功率。

本文研究了同策略Delta蒸馏（OPD^2）在英语、韩语和日语中的多语言数学推理，显示其相对于标准OPD的一致改进，并缩小了语言差距。

一位独立开发者更新了 AttnRes 项目：用基于注意力的路由替代标准残差流，通过渐进式切换计划和 top-K logits 从 Gemma 4 31b 进行蒸馏，并计划推出一个 Apache 2.0 社区模型。

介绍了TQLite，一种利用多LRM评审团训练小型语言模型进行基于MQM的实时翻译质量评估的蒸馏框架，其性能远超现成的SLM，同时保持成本效益。

本文介绍了OPTD，一种用于少步扩散语言模型的、具有一致性引导自适应压缩的在策略转移蒸馏方法，在四个推理和代码生成基准上改善了质量-效率权衡。

ContextMaster是一个统一的交互式多镜头视频生成模型，在生成、参考条件控制和编辑中维护共享历史，同时采用固定预算稀疏上下文路由和两阶段特权上下文蒸馏以提高效率。

Poly-OPD 是一个框架，用于将异构文生图流模型的互补优势蒸馏到一个紧凑的流匹配学生模型中，通过像素桥和梯度兼容适配器实现。它在提升 GenEval 和 DrawBench 得分的同时，整合了多个教师模型的能力。

作者观察到，像Qwen和Kimi这样的中国AI模型生成的前端代码比OpenAI和Anthropic的产品更美观，并思考这是否归因于蒸馏或其他技术。

SERL-SQL提出了一种面向多轮Text-to-SQL智能体的选择性执行反馈强化学习框架，利用教师-学生似然差距对SQL动作token上的GRPO优势进行重新加权。该方法在BIRD和Spider基准上取得了强劲的结果。