distillation

A commentary questioning whether Anthropic's new anti-distillation defense, claimed to block 90-99% of distillation attacks, actually slows Chinese labs down given that high-quality expert datasets remain available for sale overseas by US data companies.

论文提出 OnQ 流水线，通过 on-policy 蒸馏与候选级 Dynamic KL 恢复低比特量化 LLM 的推理能力，在 Qwen3 系列 2/3 比特量化上取得最优九基准平均成绩，2 比特下 Qwen3-8B 平均提升 10.26 分。

该论文提出 Fiber Regulation Theory (FRT) 与 Fiber Acquisition Theory (FAT) 两个理论框架，刻画受保护的功能修复与可训练结构的形成/续期动力学，并在 Qwen2.5-32B 上通过受保护头修复与固定容量 LoRA 续期验证联合策略优于单独策略。

论文提出 projected distillation，通过将学生的失败尝试最小编辑为正确目标，实现近似 on-policy 的学习信号，在数学、代码、科学和工具使用等领域显著优于 GRPO 和 on-policy distillation 等基线。

This paper theoretically and empirically explains why inference-time harnesses (scaffolds) outperform distilled student models: harnesses can compute closures that are NL-complete even from trivial AC0 primitives, a representational power no fixed-depth forward pass can replicate under standard complexity assumptions. The authors verify that enlarging the model, simplifying the task, or lengthening chain-of-thought can close this gap, including on competition math with agentic harnesses.

本文提出 Sep-Latent，一种自适应隐式推理框架，利用分隔符 token 作为语义锚点并通过注意力衰减机制压缩推理逻辑，在 GSM8k-Aug 上以仅 5.4 个 token 达到 56.8% 准确率，显著优于固定长度的隐式推理模型。

Kromoss is a full fine-tune of MOSS-Image-Base at 1024px, shipping with two 8-step turbo LoRAs (DMD and DMD2-distilled) and drop-in support for diffusers and ComfyUI, including an int8 quantized variant.

一篇推荐论文，提出将 Jev 等决策模型集成到 agent harness 中，通过蒸馏得到一个 4B 开源决策模型，在 JevAgentHarness 内超越 Jev 本体且成本更低。

腾讯混元发布 Hy-Memory-30B-A3B，一个约 3B 激活参数的紧凑型长期记忆写入模型，可替换 Mem0、MemOS 和 Hy-Memory 等外部记忆框架中的通用 LLM，采用记忆在线蒸馏（OPD）与归因记忆强化学习两阶段训练，在四个记忆框架的交叉评测中平均得分超越 Claude Opus 5。

OfficeTown 是一个生成式组织模拟框架，可通过模拟专业组织的工作流为 AI 代理生成工作导向的训练数据与评测基准。作者构建了 OfficeTown Bench（406 个任务、4836 条评测标准），并表明用该数据进行监督微调和 on-policy 蒸馏能显著提升 Qwen3.5-9B 在 GDPval 等外部专业工作基准上的表现。

QUASAR 释放了针对 Qwen3.5-4B、Gemma 4 E4B/12B 和 Muse Glimmer 30B 的 4-bit QAT 检查点（NVFP4 与 Q4_0 GGUF 格式），通过量化感知蒸馏在 KL 散度和下游基准上超越 Google 与 NVIDIA 的官方 4-bit 版本。代码、论文与项目页现已公开。

INTACT 使用一个小型外部编码器在冻结的骨干模型上诱导潜在推理，通过蒸馏将连续软令牌表示映射为潜在推理前缀，在 GSM8K 和多项跨域基准上提升准确率的同时将端到端延迟降低约 19%。

This paper proposes Critique-Augmented Agentic Fine-Tuning (CAFT), a framework where expert LLMs provide both corrected actions and textual critiques explaining student model mistakes, achieving an 8% average improvement over action-only distillation on agentic benchmarks like τ²-Bench and WebShop.

A paper proposing a likelihood-free post-training pipeline for diffusion language models combining outcome-routed distillation with ratio-free group-centred REINFORCE and a KL anchor, showing large tool-calling gains over a teacher that succeeds on only 18.6% of prompts.

论文提出一种针对扩散模型的“修正训练”框架，通过训练一个以基模型自身预测为输入的修正器来缩小训练-推理差距，显著提升无引导/无条件生成的样本质量，并可通过蒸馏将收益无损保留到基模型中。

ACEdit 提出一种结合自强制（Self-Forcing）训练、教师蒸馏与非对称条件化的方案，使多轮图像编辑在累积分布偏移下保持稳定，显著降低长序列编辑中的质量退化。

Waypoint-OPD 提出一种门控在线策略蒸馏方法，通过比较教师模型 RL 训练早期与晚期策略变化的方向一致性来过滤端点策略偏移，从而在数学与代码推理任务上提升学生模型的蒸馏效果，且仅需额外一次冻结教师评分。

这篇论文提出了一种用于扩散模型的校正训练方法，通过训练一个校正模块来细化去噪预测、减少暴露偏差，从而在无引导条件下显著提升样本质量，并可通过蒸馏将改进效果折算回基础模型以消除额外推理开销。

论文提出 Latent Compaction，通过测试时训练将 KV 缓存压缩为紧凑的文档特定表示，在冻结模型权重的前提下实现 32 倍压缩下 96.7% 的 RULER 准确率，显著优于 KVZip+ 等基线，并可跨模型规模与系列迁移。

The post links to Anthropic's research on distillation defenses, jokingly suggesting Anthropic is giving free publicity to the GLM model family again.