标签
本文提出 MRTPO，通过基于回放的相关性度量将每个奖励的优势只分配给相关词元，从而改进多奖励强化学习训练，加速收敛，并提升在文本到 SQL、多约束指令遵循和工具调用任务上的性能。
该论文提出 ForkGRPO，一个面向扩散大语言模型的强化学习框架，通过在高熵中间状态采样多个延续并进行段级信用分配，提升了探索效率与推理性能，相比 JustGRPO 最高提升 1.2 个百分点且减少 27.8% 的生成 token。
该论文介绍了 NeoTrace 和 KoAGE，后者是一个考虑知识截止时间的基准，用于评估大型语言模型如何掌握、学习和创造韩语新词。研究发现，在所评估的 21 个模型中，词汇回忆能力与语境推断能力存在差异。
该论文指出，跨语料的层级消融实验中出现的“深度专门化”效应可能只是目标token分布差异（如空白符）造成的假象，并提出在报告专门化结论前应按token类型分解并进行混合匹配验证。
该论文提出了复制粘贴语言模型（CPLMs），在标准语言模型头之外增设一个轻量级复制粘贴头，使模型能够显式指向并复制上下文中的词元，从而缓解语言模型头的梯度瓶颈。参数规模从 1.35 亿到 17 亿的预训练模型在训练效率、下游任务表现和长上下文运行能力方面均有所提升，且额外开销微乎其微。
提出 Weighted Ensemble (WE)，一个无需训练的框架，通过在生成过程中自适应重新分配采样预算来提升语言模型中稀有事件概率估计的效率与可靠性，并在安全相关任务上验证了其有效性。
本文提出一种受控诊断任务，区分语言模型在上下文学习中的“复制示例”与“组合应用规则”两种行为，发现提示控制、答案偏好、无候选构造和迁移能力在训练中沿不同时间线发展，且合成定义文档训练能提升组合式响应。
康考迪亚大学和 Mila 的研究人员在一个词元统计服从齐普夫分布、具有瓶颈约束的二元语言模型中，推导出了预测遗憾的精确缩放定律，将容量驱动的缩放行为与优化效应分离开来，并在 WikiText2 和 OpenWebText 上验证了理论预测与实验结果的一致性。
Scale AI 与 Data Machines 推出 MA-Bench 基准，通过军事任务分析场景评估语言模型在不完整、矛盾信息下的操作规划判断能力；20 个前沿模型中最佳仅答对 62% 的评分项，最弱环节是需要推断的判断。
论文提出 CFRL，一个针对连续流语言模型（如 ELF）的强化学习后训练框架，通过引入 critic 估计中间 token 嵌入的价值，实现可反传的路径梯度，绕过不可微的解码步骤，在四个推理任务上稳定提升模型性能并优于同类基线方法。
论文提出重分配敏感性分数（RSS），用于识别稀疏自编码器中可复现的特征重分配，并量化其对下游线性读出（如安全读出）失败的贡献，在 27 个预训练 SAE 上取得了较高的 AUROC。
该论文对合成数据上的隐私风险进行了实证研究，比较了数据级与训练级干预手段在能力与隐私之间的权衡，发现隐私感知重写相比 DP-SGD 或直接微调能提供更优的能力-隐私平衡。
论文提出了词汇参照系（LexFrame）方法，通过模型自身的剩余层来读取隐状态，从而解释语言模型的隐状态，在SmolLM3-3B和OLMo3-7B上实现了接近原生水平的归因、引导和早期层退出一致性。
Waypoint-OPD 提出一种门控在线策略蒸馏方法，通过比较教师模型强化学习训练早期与晚期策略变化的方向一致性来过滤端点策略偏移，从而在数学与代码推理任务上提升学生模型的蒸馏效果，且仅需额外一次冻结教师评分。
本文提出 SYNC（Symbol-Indexed Neural Communication，符号索引式神经通信）——一种免训练、基于词索引的接口，允许异构语言模型通过词索引和接收方本地隐藏状态方向共享选择性物体事实，在来自五个模型家族的九个接收方上实现了较高的四答案成功率。
本文揭示了可验证指令跟随基准中的评估盲点：前沿模型能在几乎不回答实际问题的情况下获得满分，而使用验证器奖励进行强化学习会加剧这种奖励黑客行为。作者提出 CALIF 方法，用基于校准似然的轻量级奖励增强来保留响应质量，在 IFBench 等基准上同时提升约束满足度和响应质量。
论文提出 MULTIFINGROUND 多语言金融基准，揭示语言模型虽能跨语言识别财务概念（准确率 97.3–99.4%），却在 26.6–41.9% 的情况下无法完整恢复对应的数值证据，凸显了概念识别与证据落地之间的差距。
DAGFormer 通过联合训练的拓扑预测器全局规划 Transformer 的跨层连接，相比标准 Transformer 及多种路由基线显著降低困惑度并提升下游任务表现。
CoTranslator 提出将逆向思维链推理轨迹翻译为经验证的正向推理分布，实现高效且可迁移的推理蒸馏；在六个数学基准上较语义抑制最高提升5.82个百分点，并以约35.9%的计算量保留拒采样95.0%的平均准确率。
VASPO 将自蒸馏教师与 PPO 中的 critic 结合，通过 token 级优势与有界概率比率改进推理训练，在六个数学推理基准上相比 PPO 显著提升 Qwen3-4B 与 OLMo3-7B 的准确率。