标签
一篇评论质疑，Anthropic 声称能阻止 90–99% 蒸馏攻击的新型反蒸馏防御措施，是否真能拖慢中国实验室的进展，因为美国数据公司仍在向海外出售高质量的专家数据集。
论文提出了 OnQ 流水线，通过同策略蒸馏与候选级动态 KL 恢复低比特量化大语言模型的推理能力，在 Qwen3 系列的 2/3 比特量化模型上取得了九项基准测试的最优平均成绩，其中 Qwen3-8B 在 2 比特量化下的平均成绩提升了 10.26 分。
该论文提出 Fiber Regulation Theory (FRT) 与 Fiber Acquisition Theory (FAT) 两个理论框架，刻画受保护的功能修复与可训练结构的形成/续期动力学，并在 Qwen2.5-32B 上通过受保护头修复与固定容量 LoRA 续期验证联合策略优于单独策略。
论文提出 projected distillation，通过将学生的失败尝试最小编辑为正确目标，实现近似 on-policy 的学习信号，在数学、代码、科学和工具使用等领域显著优于 GRPO 和 on-policy distillation 等基线。
本文从理论和实证角度解释了为何推理时框架（脚手架）优于蒸馏出的学生模型：即使从平凡的 AC0 基础组件出发，框架也能计算 NL-完全问题的闭包，而在标准复杂性假设下，任何固定深度的前向传播都无法复制这种表示能力。作者验证了通过扩大模型规模、简化任务或延长思维链可以缩小这一差距，包括在竞赛数学和智能体框架上的表现。
本文提出 Sep-Latent，一种自适应隐式推理框架，利用分隔符 token 作为语义锚点并通过注意力衰减机制压缩推理逻辑，在 GSM8k-Aug 上以仅 5.4 个 token 达到 56.8% 准确率，显著优于固定长度的隐式推理模型。
Kromoss 是 MOSS-Image-Base 在 1024px 分辨率下的全量微调模型，附带两个 8 步加速 LoRA（DMD 与 DMD2 蒸馏版），并支持 diffusers 和 ComfyUI 即插即用，同时提供 int8 量化版本。
一篇推荐论文，提出将 Jev 等决策模型集成到 agent harness 中，通过蒸馏得到一个 4B 开源决策模型，在 JevAgentHarness 内超越 Jev 本体且成本更低。
腾讯混元发布 Hy-Memory-30B-A3B，一个约 3B 激活参数的紧凑型长期记忆写入模型，可替换 Mem0、MemOS 和 Hy-Memory 等外部记忆框架中的通用大语言模型，采用记忆在线蒸馏（OPD）与归因记忆强化学习两阶段训练，在四个记忆框架的交叉评测中平均得分超越 Claude Opus 5。
OfficeTown 是一个生成式组织模拟框架，通过模拟专业组织的工作流为 AI 智能体生成工作导向的训练数据与评测基准。作者构建了 OfficeTown Bench（406 个任务、4836 条评测标准），并表明用该数据进行监督微调和 on-policy 蒸馏能显著提升 Qwen3-5-9B 在 GDPval 等外部专业工作基准上的表现。
QUASAR 释放了针对 Qwen3.5-4B、Gemma 4 E4B/12B 和 Muse Glimmer 30B 的 4-bit QAT 检查点（NVFP4 与 Q4_0 GGUF 格式），通过量化感知蒸馏在 KL 散度和下游基准上超越 Google 与 NVIDIA 的官方 4-bit 版本。代码、论文与项目页现已公开。
INTACT 使用一个小型外部编码器在冻结的骨干模型上诱导潜在推理，通过蒸馏将连续软令牌表示映射为潜在推理前缀，在 GSM8K 和多项跨域基准上提升准确率的同时将端到端延迟降低约 19%。
本文提出了批评增强智能体微调（Critique-Augmented Agentic Fine-Tuning，CAFT），这一框架由专家大语言模型同时提供修正后的动作和解释学生模型错误的文字评析，在 τ²-Bench 和 WebShop 等智能体基准测试中，相较于仅基于动作的蒸馏方法，平均性能提升了 8%。
一篇论文提出了一种面向扩散语言模型的无似然后训练流程，将按结果路由的蒸馏与无需概率比、以组为中心的 REINFORCE 及 KL 锚定相结合，相较于仅在 18.6% 的提示上成功的教师模型，在工具调用方面取得了显著提升。
论文提出一种针对扩散模型的“修正训练”框架，通过训练一个以基模型自身预测为输入的修正器来缩小训练-推理差距，显著提升无引导/无条件生成的样本质量，并可通过蒸馏将收益无损保留到基模型中。
ACEdit 提出一种结合自强制（Self-Forcing）训练、教师蒸馏与非对称条件化的方案，使多轮图像编辑在累积分布偏移下保持稳定，显著降低长序列编辑中的质量退化。
Waypoint-OPD 提出一种门控在线策略蒸馏方法，通过比较教师模型强化学习训练早期与晚期策略变化的方向一致性来过滤端点策略偏移，从而在数学与代码推理任务上提升学生模型的蒸馏效果，且仅需额外一次冻结教师评分。
本文提出了一种用于扩散模型的校正训练方法，通过训练校正模块来细化去噪预测、缩小训练与推理之间的差距，从而在无引导条件下显著提升样本质量，并可通过蒸馏将改进效果整合回基础模型，避免额外的推理开销。
论文提出 Latent Compaction，通过测试时训练将 KV 缓存压缩为紧凑的文档特定表示，在冻结模型权重的前提下实现 32 倍压缩下 96.7% 的 RULER 准确率，显著优于 KVZip+ 等基线，并可跨模型规模与系列迁移。
这篇帖子链接了 Anthropic 关于蒸馏防御的研究，并开玩笑地暗示 Anthropic 又在给 GLM 模型系列免费做宣传了。