标签
介绍了针对大模型推理的Strategy-Guided Policy Optimization（SGPO），该方法用策略蒸馏替代轨迹模仿，提升了数学基准测试上的泛化能力。
文章认为自回归语言模型无法真正理解形式数学，需要验证方法，并引用了诸如Aleph等依赖严格数学证明的系统。
本文提出了一种跨语言的LLM数学推理机制分析，发现数学相关参数在不同语言之间存在部分重叠，主要集中于中间层。英语拥有最大规模的数学相关参数集，而低资源语言则拥有较小的参数集。
本文介绍了MathVis-Fine，一个用于多模态数学推理中细粒度视觉依赖建模的框架，同时包含一个新数据集和一个两阶段渐进式训练范式，该范式根据每个样本固有的视觉依赖水平平衡答案正确性奖励和视觉接地奖励。
本文提出E³RL，一种使用动态认知熵阈值的强化学习方法，使LLMs能够在生成过程中切除局部逻辑缺陷，克服长程推理中的自回归诅咒，并在AIME等数学推理基准上取得最先进的结果。
PowerOPD 引入了一种有界幂变换来稳定大型语言模型的在线策略蒸馏，在降低计算成本的同时，实现了准确性和样本效率的显著提升。
本文研究了为何自蒸馏会降低大语言模型的推理能力，发现它会抑制认知性言语化（不确定性表达），导致数学推理任务中的性能下降高达40%。
一项综合分析超过300篇关于LLM推理的论文，提出了推理范式的分类体系，包括Chain-of-Thought、Multi-Hop、Mathematical、Commonsense等，并总结了常见的失败模式和研究空白。
ComBench 是一个奥林匹克级组合数学基准测试，包含100道题目，旨在评估大语言模型的严谨证明推理与构造实现能力。结果表明，像GPT-5.5这样的前沿模型仅达到65.4%的总体平均分，并且这两种能力是截然不同的。
提出PADD框架，用于将知识从密集教师模型蒸馏到混合专家（MoE）学生模型，解决了教师无路由器情况下学习路由策略的挑战。该方法包含四个阶段，在数学推理基准测试上展示了改进效果。
N-GRPO 在 GRPO 框架中引入语义邻居混合，以增强数学推理多样性并保持语义一致性，在数学基准和分布外任务上均取得了提升。
本文介绍了前缀效用模型（PUM），该模型基于前缀的效用（解题率的提升）而非局部正确性来评估LLM推理前缀。PUM在数学推理任务中的选择、搜索和强化学习方面表现出色。
RASFT是一种新颖的大型语言模型监督微调框架，它根据模型自身的推理能力调整专家监督，在数学和代码推理基准测试中相比标准SFT和强化学习方法取得了更好的性能。
本文对Sub-1B模型在数学推理任务上进行了基准测试，揭示全量微调会主动损害300M参数以下模型的性能，而LoRA和DoRA等参数高效微调（PEFT）则提供了稳定性。作者建议对所有对齐的Sub-1B模型默认使用PEFT，并警告不要对小于500M参数的架构使用全量微调，以防止灾难性遗忘。
介绍了CrowdMath，一个包含164条专家标注的进展链条的数据集，来自MIT PRIMES–AoPS CrowdMath项目，捕捉了协作数学问题解决过程。对六个前沿模型进行基准测试，发现它们在下一帖子预测上达到83-88%的准确率，但在帖子角色分类上仅有0.42的macro-F1，突显了在理解协作进展方面的差距。
符号门控在线策略蒸馏（SG-OPD）通过使用二元验证器作为教师监督的信任信号，增强了标准在线策略蒸馏，在竞赛级数学推理基准上提升了性能。
本文提出了CERO，一种用于LLM强化学习后训练的跨轮次自适应展开优化方法。该方法利用贝叶斯后验方差，在提示和轮次之间分配固定的展开预算，以最大化样本效率，实现了理论遗憾界，并在数学推理任务上优于GRPO。
刻意进化（DE）是一个智能体框架，通过将候选生成与搜索控制解耦，并结合自适应算子、结构诊断工具和反思性记忆，显著提升了基于大语言模型的符号回归效果，仅需标准样本预算的40%即可取得更优结果。
BiNSGPS 是一个框架，在多模态 LLM 顾问与符号求解器之间引入双向交互机制，用于几何问题求解。该框架允许求解器将反馈传递回顾问，以纠正错误并生成辅助假设。在 Geometry3K 和 PGPS9K 基准测试上分别取得了 90.5% 和 90.1% 的最优性能。
来自牛津、剑桥、MIT、CMU等机构的研究人员开展了一项混合方法研究，考察人们如何将AI工具融入数学证明形式化工作流程。研究发现，借助AI辅助时，参与者的形式化准确率普遍更高，同时他们倾向于在证明发现过程中保持人类对高层决策的主导权。