标签
本文提出了一种基于成功经验的 On-Policy 蒸馏方法（Success-Referenced On-Policy Distillation, SR-OPD），利用学生自身成功的生成轨迹作为参照，有选择地分配教师监督信号。该方法在数学推理基准上仅使用普通 on-policy 蒸馏所需教师输入 token 的 3.46%–5.02%，便取得了相当的推理性能。
研究表明，在为大模型微调选择数学训练数据时，共享推理方法（例如不变推理或双重计数）对保留目标数据的迁移效果显著优于共享数学主题，在五个基础模型上，平衡设计的2x2实验中优势达到8至16个百分点。
该论文提出了 Multilingual GSM-Symbolic，一个覆盖 15 种语言、包含 30k 条题目匹配的问答对的符号模板数据集，用于量化大语言模型跨语言能力迁移的决定因素。研究发现，模型规模、语言资源水平、推理能力和类型学距离是关键驱动因素，并提出了一个能解释 92% 语言间差异的框架，其对未见语言性能的预测误差在 6.0 个百分点以内。
本工作坊论文考察了当累计 token 上限落在数学推导过程之中时，对测试时控制器产生的影响，并基于 19,200 条归档轨迹，对比了严格模式（到达上限即停止）与建议模式（完成当前尝试）两种停止策略。研究发现，预算曲线必须同时报告上限、实际开销、候选样本覆盖率以及选择器信息，因为仅凭候选覆盖率和名义预算可能会产生误导。
一篇研讨会论文提出了一个单实例案例研究：让AI智能体从数值数据中重新发现四次Blaschke曲线的一个隐藏不变量。智能体成功导出了一个齐次三次式，能够以机器精度的残差预测未见过的构型；论文也诚实地指出其局限，例如一个确定性的多项式拟合基线也能得到与智能体相同的结果。
论文提出“数学原语（Mathematical Primitive）”的概念以探测大语言模型的结构性数学理解，提出一个沿发现（Discovery）、生成（Generation）、消化（Digestion）与执行（Execution）四个维度评估推理能力的基准，并提出一种原语优先的自蒸馏框架，在不同模型规模上均提升了数学推理能力。
该论文提出了 **Advantage-Based Control Variates（ABC，基于优势的控制变量）**，这是一种将轨迹级控制变量以优势–价值形式表示的方法，适用于带可验证奖励的强化学习；它与 **Direct Advantage Estimation（直接优势估计）** 结合，构成了一套单一的 actor-critic 算法。该算法在数学推理任务上的表现与 GRPO 相当，却只需少得多的在线优化步数。
本文提出熵正则化交叉熵（ER-CE），旨在解决交叉熵损失函数与验证领域中验证器目标之间的不匹配问题，并在数学推理与代码生成基准测试中展现出显著提升。
本文提出了GRAFT，一个用于可验证奖励强化学习（RLVR）的离策略感知框架，它用对等轨迹替换全部失败组，以提高数学推理基准的性能。
SAKI引入了一种用于在线策略蒸馏的监督分配方法，该方法使用KL约束的教师引导展开和最大耦合来路由令牌级监督，从而提高小模型在数学推理基准测试上的性能。
论文提出了"无尽的考试"（The Endless Exam）这一基准，模型可自动构造并验证集合、图、编码等数学对象，即使超越已发表参考基准后仍能获得无上限的连续得分。在17种配置下评测的前沿模型均未能超越已发表的前沿水平，凸显出通向超级智能级别数学能力之间持续存在的差距。
本文提出解耦信用自蒸馏（DCSD），将信用方向和幅度分离用于自蒸馏，在11个基准测试中，数学推理提升8.45分，多模态推理提升7.01分。
介绍了最小二乘策略蒸馏（LSPD），一种基于强化学习的样本高效蒸馏方法，用于大语言模型，在数学推理基准测试中提升了性能。
本文引入校准重要性采样（CIS）来解决大语言模型强化学习中的训练-推理不匹配问题，改进策略更新并在数学推理基准测试上提升性能。
ELF-REG通过使用表示对齐和纠缠，将连续扩散语言模型扩展到推理任务，在基准测试如GSM8K和HumanEval上，相比其他扩散模型实现了性能提升。
本文提出 Planned Test-Time Scaling (PTTS)，一种通过协调推理分支来提升挑战性任务性能的方法，在数学推理基准测试中相比重复采样取得了显著提升。
本文介绍了 RECAP，一种冗余感知学习方法，通过根据步骤的结构角色和效能分配信用，提升了大型推理模型的效率，在提高准确性的同时减少了令牌使用量。
本文研究了在数学推理的策略蒸馏中，提示广度与展开刷新之间的交互，揭示了提示效率取决于学生策略的刷新率和推理预算。
本文介绍了Calibrated On-Policy Distillation (Cal-OPD)，一种通过估计教师自偏差来校准教师-学生差异的方法，从而提升On-Policy蒸馏在数学推理任务上的性能。
本文研究了基于策略的蒸馏如何因师生模型间EOS token不匹配而导致输出长度膨胀，并提出了一种通过聚合EOS概率来减少响应长度的纠正方法。