标签
PowerOPD 引入了一种有界幂变换来稳定大型语言模型的在线策略蒸馏，在降低计算成本的同时，实现了准确性和样本效率的显著提升。
本文研究了为何自蒸馏会降低大语言模型的推理能力，发现它会抑制认知性言语化（不确定性表达），导致数学推理任务中的性能下降高达40%。
一项综合分析超过300篇关于LLM推理的论文，提出了推理范式的分类体系，包括Chain-of-Thought、Multi-Hop、Mathematical、Commonsense等，并总结了常见的失败模式和研究空白。
ComBench 是一个奥林匹克级组合数学基准测试，包含100道题目，旨在评估大语言模型的严谨证明推理与构造实现能力。结果表明，像GPT-5.5这样的前沿模型仅达到65.4%的总体平均分，并且这两种能力是截然不同的。
提出PADD框架，用于将知识从密集教师模型蒸馏到混合专家（MoE）学生模型，解决了教师无路由器情况下学习路由策略的挑战。该方法包含四个阶段，在数学推理基准测试上展示了改进效果。
N-GRPO 在 GRPO 框架中引入语义邻居混合，以增强数学推理多样性并保持语义一致性，在数学基准和分布外任务上均取得了提升。
本文介绍了前缀效用模型（PUM），该模型基于前缀的效用（解题率的提升）而非局部正确性来评估LLM推理前缀。PUM在数学推理任务中的选择、搜索和强化学习方面表现出色。
RASFT是一种新颖的大型语言模型监督微调框架，它根据模型自身的推理能力调整专家监督，在数学和代码推理基准测试中相比标准SFT和强化学习方法取得了更好的性能。
本文对Sub-1B模型在数学推理任务上进行了基准测试，揭示全量微调会主动损害300M参数以下模型的性能，而LoRA和DoRA等参数高效微调（PEFT）则提供了稳定性。作者建议对所有对齐的Sub-1B模型默认使用PEFT，并警告不要对小于500M参数的架构使用全量微调，以防止灾难性遗忘。
介绍了CrowdMath，一个包含164条专家标注的进展链条的数据集，来自MIT PRIMES–AoPS CrowdMath项目，捕捉了协作数学问题解决过程。对六个前沿模型进行基准测试，发现它们在下一帖子预测上达到83-88%的准确率，但在帖子角色分类上仅有0.42的macro-F1，突显了在理解协作进展方面的差距。
符号门控在线策略蒸馏（SG-OPD）通过使用二元验证器作为教师监督的信任信号，增强了标准在线策略蒸馏，在竞赛级数学推理基准上提升了性能。
本文提出了CERO，一种用于LLM强化学习后训练的跨轮次自适应展开优化方法。该方法利用贝叶斯后验方差，在提示和轮次之间分配固定的展开预算，以最大化样本效率，实现了理论遗憾界，并在数学推理任务上优于GRPO。
刻意进化（DE）是一个智能体框架，通过将候选生成与搜索控制解耦，并结合自适应算子、结构诊断工具和反思性记忆，显著提升了基于大语言模型的符号回归效果，仅需标准样本预算的40%即可取得更优结果。
BiNSGPS 是一个框架，在多模态 LLM 顾问与符号求解器之间引入双向交互机制，用于几何问题求解。该框架允许求解器将反馈传递回顾问，以纠正错误并生成辅助假设。在 Geometry3K 和 PGPS9K 基准测试上分别取得了 90.5% 和 90.1% 的最优性能。
来自牛津、剑桥、MIT、CMU等机构的研究人员开展了一项混合方法研究，考察人们如何将AI工具融入数学证明形式化工作流程。研究发现，借助AI辅助时，参与者的形式化准确率普遍更高，同时他们倾向于在证明发现过程中保持人类对高层决策的主导权。
论文介绍了GTBench，这是一个基于课程体系的基准，用于评估大语言模型在图论中作为数学研究助手的能力，包含63个问题，分为三个难度级别。它评估了五个前沿模型，发现性能随难度增加而下降，其中GPT-5在基础问题上近乎完美，但在研究生级别的证明上仅达到82%。
EvoTrainer提出了一种自主训练框架，通过经验反馈协同进化LLM策略与训练框架，在数学推理、代码生成以及长期软件工程任务上超越了人工设计的强化学习基线。
GRAIL 引入了梯度重加权优势，以改进 LLM 推理强化学习中的 token 级信用分配，在多个模型上优于 GRPO。
AXIOM是一种信任优先的神经符号执行架构，用于数学推理。其中LLM作为规范化器，将自然语言问题重写为由确定的CAS管道处理的模式，在可解析查询上实现了94.36%的正确率和100%的信任度。
KACE 引入了一种知识自适应上下文工程方法，通过认知树和分层自一致性将存储与使用分离，在 AIME 2025 上达到了 62.2% 的准确率——相比固定自一致性提升了 10.4 个百分点。