标签
本文提出同策略Delta蒸馏（OPD^2），一种新的蒸馏奖励——差异信号，该信号捕捉教师模型与其基础模型在推理调优前的差异，为迁移推理能力提供更直接的信号。在数学、科学和代码基准上的实验表明，OPD^2始终优于传统的同策略蒸馏。
Thinking Machines 发布了 Inkling，这是一个开源的多模态推理模型，在 post-training RL 方面有创新，实现了稳定扩展到 3000 万+ 次 rollout 和可控的思考投入。该模型展现出压缩推理的特点，即将开放微调。
Meta CTO确认扎克伯格去年进入了'创始人模式'，并赞赏Alexandr Wang的加入。为了打造最新模型，Meta紧急调动数千名员工生成人工引导的expert traces用于后训练，凸显了前沿模型对高质量验证数据的依赖。
提出PUST，一种新颖的LLM后训练框架，该框架通过轻量级代理模型将奖励探索与分布对齐解耦，从而实现可复用的更新信号以及跨模型的高效弱到强增强。
理想汽车的Mach-Mind-4-Flash是一个拥有3B活跃参数的35B MoE模型，通过使用统一的强化学习/在线策略蒸馏损失进行后训练优化，在多个基准测试中达到了匹配或超越100B参数模型的性能。
LuffyTheFox 发布了 Qwen3.6-35B-A3B 模型的 GGUF 量化版本，使用 Genesis 算法进行去噪，以减少张量噪声并改进指令遵循能力，该模型基于一个未经审查的激进变体，并与 Hermes 微调数据合并。
LuffyTheFox 发布了 Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V5-GGUF，这是 Qwen 模型的一个修改版本，使用 Genesis 后训练算法通过自定义 SVD 对 GGUF 格式张量进行信号纯度修复和噪声降低。
本技术报告介绍了 Mach-Mind-4-Flash，一个拥有35B参数（3B激活参数）的混合专家（MoE）代理模型，仅通过后训练优化即可达到或超越100B参数级别的模型性能。它提出了一种新颖的训练基础设施，包括动态多教师调度、多教师在线策略蒸馏以及用于令牌效率的混合中位长度策略优化。
介绍了Learning from Hindsight (LfH)方法，该方法将后见之明重标注应用于视觉-语言-动作模型的强化学习后训练。通过将失败的机器人轨迹重新标注为它们实际完成的任务，LfH在分布外操作任务上实现了5倍的样本效率提升。
一个35B参数的MoE模型，仅3B活跃参数，通过后训练强化学习匹配或超越100B级模型，实现显著效率提升。
一种名为IAPO（Information-Aware Policy Optimization）的新后训练方法，根据每个token与最终答案的条件互信息为其分配优势，实现了推理长度缩短高达47%，同时提高了数学基准的准确性。
今日分享了大模型后训练工程师面试题及标准答案，涵盖PBE任务表现定义和编程模型的后训练实现方式。
本文研究强化学习后训练是否能够将原始技能组合成更高层次的组合策略，使用一个完全可观测的重写语法环境。作者发现，RL通过分阶段的组合机制重新组织原始能力，而拒绝微调则因产生大量无效的捷径式重写而停滞不前。
解释了前沿模型后训练流程中蒸馏的三种用途：将大模型压缩成小模型、合并强化学习专家、以及自我学习。还包括一篇详细说明每个方法对应哪些模型的文章。
一篇关于2026年前沿AI模型如何利用蒸馏技术的文章，涵盖离策略、在策略和自蒸馏阶段，并以Gemma、DeepSeek、GLM、Nemotron和Qwen3为例。
一个开源的端到端后训练配方，涵盖SFT、RL和测试时扩展，包括模型、数据集和代码。
FourTune提出了一个全4比特量化框架（W4A4G4），用于扩散模型的高效后训练，采用三分支混合流水线和自定义融合内核，在12B FLUX.1-dev上将内存减少2.25倍，吞吐量提升2.27倍，且无质量损失。
CurateEvo 是一个以失败为驱动的动态进化框架，用于智能体后训练的数据策展。它利用失败轨迹迭代重写策展策略，在 ACEBench-Agent 和 BFCL-V4 等基准上提升了效果和效率。
论文介绍了子空间对齐重连（SAR），这是一种事后编辑方法，能够保留强化学习更新的频谱核心，从而保持推理增益、消除干扰，并实现跨专家模型融合，以极少的参数实现强大性能。