标签
该论文用信号处理工具审计了 DeepConf 等基于 token 置信度的推理链筛选方法，发现滑动窗口最小置信度分数主要度量的是链的长度，剔除长度因素后该分数对正确性几乎不携带额外信息，按长度排序效果相同甚至更好。
本文提出条件对比外推在线蒸馏（CCE-OPD），通过让教师模型对完整问题与掩码条件版本进行对比评估，降低教师在学生生成前缀上偏好无效续写的风险，在六个数学基准上相较标准OPD提升avg@8约1.60-1.95个百分点。
本文提出了 TIPS（思维诱导过程监督）框架，这是一种仅基于结果奖励的强化学习方法，仅使用结果级别的奖励来训练生成式过程奖励模型，在 ProcessBench 上仅用 3.2K 条结果标注轨迹即达到 85.2 F1，超越了现有的训练型 PRM 以及仅使用提示词的评判模型如 GPT-5.4-Instruct。
论文介绍了 Self-Play Search Distillation (SPSD)，一个利用类似MuZero的网络进行自博弈的框架，用于生成超人类合成数据训练LLMs，显著提升了数学基准测试中的推理性能。
本文采用因果中介框架审计混合推理模型中的思考泄漏，揭示了NoThink模式下的后训练增益在很大程度上依赖于调用现有的Think行为，泄漏率介于42%至79%之间。
本文介绍了Self-Play Search Distillation（SPSD）框架，该框架利用棋盘游戏中的自我博弈生成合成数据，以改进大型语言模型的推理能力，并在数学基准测试中展示了改进。
本文提出了Informed Masking（IM），一种针对扩散大型语言模型中强化学习的结构感知扰动方法，该方法优先处理下游令牌，提高了在数学和规划基准测试中的性能。
When2Think 是一个后训练框架，能根据问题难度在大型推理模型中动态分配计算资源，从而在数学基准测试中优化准确性与效率的权衡。
本文识别了大语言模型强化学习中的马太效应，即简单问题比困难问题提升更多，并引入了Never Give Up (NGU)，一种自适应采样方法，用于分配更多计算资源给困难问题，在数学和编码基准测试中展示了性能提升。
本文介绍了Lightning Weave，一个通过在线策略蒸馏将独立训练的推理能力组合成单一高效模型的框架，从而在数学和代码任务中提高准确率并减少令牌使用。
本文提出了具体化命题提示（CPP）框架，通过显式具体化与问题相关的命题来解决LLMs中的组合-知识二分法，显著提升推理性能，尤其在医学和数学基准测试中。
本文介绍了DASH，一种利用推理轨迹中的中间答案承诺来分配段级信用的方法，可减少过度思考行为并提高竞赛级数学基准的准确性。
本文提出了轨迹增强策略优化（TAPO），该方法利用模型自身正确和错误的展开构建微反思修正轨迹，以提高大型语言模型的推理能力，在数学基准测试上优于标准自蒸馏方法。
本文形式化了LLM中的推理冗余，将其定义为在不影响正确性的情况下可截断的尾部步骤比例，在多个前沿模型上量化出61%-93%的冗余，并证明冗余是长度无关结果奖励的结构性后果。
单流策略优化（SPO）是一种针对大语言模型的新策略梯度训练方法，它消除了基于组的退化组和同步屏障等问题，提供稳定、低方差的学习信号，并与GRPO相比，在困难数学基准测试上提高了性能。