标签
来自Bridgewater AIA Labs、UIUC和MIT的研究人员证明了首个针对使用RLVR训练的推理LLM的非平凡泛化界，为未见数据提供可证明的准确率下界，以指导安全部署。
本文提出同策略Delta蒸馏（OPD^2），一种新的蒸馏奖励——差异信号，该信号捕捉教师模型与其基础模型在推理调优前的差异，为迁移推理能力提供更直接的信号。在数学、科学和代码基准上的实验表明，OPD^2始终优于传统的同策略蒸馏。
本文研究了混合决策支持系统中推理类大语言模型的语义上下文漂移问题，提出了一个数学模型和一个稳定性度量。为期两个月的实验揭示了潜在的目标导向漂移，并制定了控制稳定性的工程建议。
PluraMath 将 PolyMath 数据集扩展到 18 种未被充分代表的语言，提供了一个经过人工验证的基准，用于评估 LLM 中的多语言数学推理。该论文揭示了在 27 个模型中，高资源和低资源语言之间持续存在的性能差距。
提出了STATEWITNESS，一种用于审计推理型LLM中欺骗的激活解释器，相比现有监测器取得了显著改进，并提供了可供人工检查的证据。
研究发现，思维大模型中的答案词元在定量推理时遵循结构化自读模式——前向漂移+聚焦关键锚点，并据此提出免训练 SRQ 引导方法，无需微调即可提升准确率。