标签
Maxime Rivest 分享了一个有效的算法，它基于引用网络而非关键词来识别一个领域的关键'综述'论文，并以 LLM post-training 领域的综述论文为例进行了演示。
该论文提出了一种逆向推理大语言模型，它以答案为条件生成推理轨迹，从而能够利用仅含答案的数据进行高效自蒸馏，作为介于监督微调（SFT）与强化学习（RL）之间的一种折中方案。在 Countdown 和 GSM8K 上使用 Qwen3-0.6B 时，单轮离线蒸馏使高难度提示的 pass@1 大致翻倍；该逆向模型还可兼作验证器，将 best-of-n 选择准确率从 0.753 提升至 0.969。
本文提出 CIG-SFT，一个信息论框架，通过估计每个示范 token 的任务条件信息增益来加权监督信号，从而在数学推理与代码生成基准上提升 SFT 的泛化能力，且无需额外数据或在线采样。
提出了跨行为策略优化（CBPO），通过共享的固定参考回归目标，将离线示范数据与在线/离线策略生成的轨迹统一到单一损失函数中，用于大语言模型的推理能力后训练，在数学推理基准上显著优于监督微调（SFT）→解耦裁剪与动态采样策略优化（DAPO）的两阶段流程。
分析表明，在理想条件下，RL 后训练中的 BPO 与 Score Centering 收敛到相同的全词表 token 梯度，其中 Score Centering 的作用是针对 off-policy 漂移的偏差校正，而非方差缩减。
Cohere 研究人员提出了字典序多目标在线策略蒸馏（LMOPD），这是一种多教师方法，通过门控路由和投影对数策略修正，在显式优先级顺序下整合各奖励专项策略。在三个数学基准上的 30B-A3B MoE 模型评测中，LMOPD 相比基线方法保留了远更多的最高优先级准确率与推理能力增益，同时仍捕捉到了简洁性方面的改进。
该论文提出使用生成流网络（GFlowNets）来生成多样化的合成专家对话，以用于大语言模型的后训练，从而避免在提示词生成和基于奖励的合成方法中常见的模式坍缩问题，并在辅导和情感支持对话的下游结果预测任务上取得了更强的表现。
本文提出 OPSFT（同策略方向约束监督微调），将 SFT 的参数更新方向约束为在同策略强化学习训练中观测到的方向，表明同策略范式的泛化优势可以迁移到 SFT 中，从而提高训练效率，并能够利用高质量轨迹。
Nereus 是一个成本感知运行时，它将针对大型语言模型的强化学习后训练任务调整为高效执行计划，将延迟降低27.7%，并将吞吐量提升最多7.27倍，相比现有工具。
Rufus-Air 是一个开放且可复现的LLM后训练配方，详细描述了一个八阶段的流程，从基础到高级增强能力，相比现有模型如GLM-4.5-Air-Base有所改进。
本文介绍GVPO++，一种用于LLM的新型后训练方法，该方法集成了KL约束的奖励最大化，增强了训练稳定性并实现了在策略蒸馏。
Coal-SQL是一个用于文本到SQL的后训练框架，通过覆盖引导增强和失败驱动学习来改进SQL生成，在BIRD基准测试中仅使用12.6K个示例就达到了64.9%的执行准确率。
该论文提出MASS框架，用于LLM后训练的层次化数据选择，通过流形覆盖和稀疏特征覆盖筛选高价值数据子集，实验表现优于现有基线。
DynaResize是一个运行时GPU重新分配系统，在基于强化学习的LLM后训练过程中，动态地在Rollout和Training阶段之间切换GPU，相比静态配置，吞吐量提升66.5%，执行时间减少33%。
NexForge是一个需求驱动的框架，能够为LLM后训练合成多样化、可执行的智能体任务和专家轨迹，优于先前的方法，并在Terminal-Bench上实现了最先进的开源智能体性能。
本文系统研究了LLM后训练中的on-policy distillation，阐明了其作为探索催化剂的作用，并识别了Student-Teacher Mismatch和Length Exploitation等病理现象，提出了轻量级信号调控方法。
Miles是RadixArk推出的一个开源框架，用于大规模LLM强化学习后训练，集成了PyTorch、Ray、SGLang和NVIDIA Megatron-LM，支持MoE、低精度和容错。
MOPD提出了一种用于大语言模型后训练的多教师在线策略蒸馏范式，通过将特定领域的RL教师模型蒸馏到学生模型（使用其自身的采样数据），实现了多领域能力的高效整合。该方案优于Mix-RL和Cascade RL等现有方法，并已在工业级模型中部署。
本文提出了CERO，一种用于LLM强化学习后训练的跨轮次自适应展开优化方法。该方法利用贝叶斯后验方差，在提示和轮次之间分配固定的展开预算，以最大化样本效率，实现了理论遗憾界，并在数学推理任务上优于GRPO。
RUBRIC-ARROW 提出了一种交替式奖励建模框架，通过减少平局并利用成对偏好数据改进了基于评分标准的方法，在非可验证领域为LLM后训练实现了具有竞争力的准确率和收益。