标签
本文研究了特权信息在语言模型在策略自蒸馏中的贡献，发现无参考蒸馏贡献了大部分性能提升，而特权参考带来的额外收益有限。
UniCAR-RL 引入了一个强化学习框架，通过解耦感知与推理，无需标注即可提升多模态大语言模型的视觉数学推理能力。
本文介绍了一种教师引导的课程学习方法，用于强化学习与可验证奖励（RLVR），以高效训练语言模型处理初始不可解的数学问题，实现显著的数据效率并扩展推理边界。
贝尔曼策略优化 (BPO) 是一种无评论家的强化学习方法，它利用贝尔曼方程重新表述策略镜像下降 (PMD)，用于具有终端奖励的自回归生成，从而提升大语言模型的数学推理能力。
本文介绍了TrimSFT，一种用于监督微调的标记级重加权方法，通过聚焦中间logit间隔标记来增强数学推理，相比标准SFT显示出显著的性能提升。
本文介绍了负向自蒸馏（NSD），这是一个通过偏离有缺陷的推理而非模仿特权解决方案来提升大语言模型推理能力的框架，在数学基准测试中持续优于现有方法。
本文研究了多语言大语言模型在印地语和马拉雅拉语中对语义保持扰动的结构敏感性，结果显示在数学推理性能上有显著下降，并引入了IndicReStruct基准进行评估。
RePro将面向Lean的神经自动化定理证明器集成到基准重写中，以确保问题有效性和答案正确性，从而可靠评估LLMs在数学问题求解中的表现。
本文通过分析多样性在何处丧失，研究了带有可验证奖励的强化学习如何缩窄大语言模型推理的解空间，发现其集中于轨迹的“入口”处。研究证明，无需牺牲准确性，即可通过干预措施恢复解的广度。
MathAdv 是一个用于数学形式定理证明的诊断基准，覆盖13个领域，并提供辅助任务以评估知识、推理和鲁棒性。该研究揭示了形式化瓶颈以及模型间的性能差异。
TTPO引入了一种无标签的测试时训练方法，用于数学推理，通过非对称处理一致和不一致的运行轨迹，达到了与监督学习相当的性能。
DirEAG 是一种方法，用于通过聚合来自多个提示的狄利克雷证据，校准大型语言模型在数学推理过程中的语言化置信度，在 GSM8K 等基准测试中表现出改进的校准效果。
本文揭示了可验证奖励强化学习中的精确匹配验证器在多语言数学推理中引入了语言依赖偏差，提出了一个审计协议，并识别了跨语言选择瓶颈。
本文介绍了ERPO，一种通过控制查询分布将正则化从动作侧转移到输入侧的方法，解决了LLM策略优化中的稳定性-探索困境，并在数学推理基准测试中展示了改进。
本报告研究了针对信号数学问题调整Qwen2.5-3B-Base模型的强化微调策略，实现了相对于基础模型超过三倍的准确率提升。
本文提出了自适应熵蒸馏（AED）方法，该方法利用教师熵动态校准知识蒸馏中的词元级模仿强度，在指令跟随和数学推理基准测试上取得了卓越性能。
MathForm引入了一个利用知识检索和验证引导优化的数学自动形式化框架，产生了FormalVerse数据集和一个8B模型，该模型在性能上优于专业基线模型。
介绍了TREAT，这是一个基准测试，用于评估大型语言模型是否能从数学公式的等价保持变换中恢复已知定理身份。测试中表现最好的模型准确率仅为60.73%，表明定理知识在表示变化下是脆弱的。
埃隆·马斯克称赞 Grok 的图像生成能力，因为它正确描绘了一位数学家从亏格为1的物体中喝水的画面，而 ChatGPT 生成的则是亏格为2的甜甜圈马克杯。
FutureBridge introduces a token reranker for collaborative decoding that ranks LLM-SLM candidates based on how well the SLM can continue reasoning from them, improving the Qwen3-1.7B SLM's math accuracy by 35.1% over greedy decoding.