标签
FARO 是一种函数空间自适应优化器，它根据每个参数块的反事实回报为其分配几何结构，并通过跨块等风险贡献重新分配各块的更新预算，在达到 NorMuonAndAdam 等人工设计方案效果的同时，在 GPT 风格的训练中实现稳健的小幅损失下降。
卡内基梅隆大学的一篇论文表明，预训练、微调和强化学习可以统一为一条训练规则（将 MaxRL 视为针对正确答案的似然训练）。混合数据训练在推理和编程基准测试中的表现优于分阶段训练，同时保留了通用能力。
Modal 宣布为后训练 Reflection 的 Beam 模型提供一流的支持，并发布了 Modal Dojo——一个用于在 Modal 上进行生产级 LLM 训练（包括强化学习）的开源库与技能包，其中包含在 GSM8K 上训练 Qwen3.5-4B 的示例。
一篇讨论线程，介绍通过拟合缩放定律（scaling laws）来确定在合成改写上应投入多少算力以提升数据质量，以及基于改写数据训练的模型能否超越执行改写的模型本身的研究。
River API 现已支持使用任意自定义损失函数训练 LLM。损失函数使用 PyTorch 编写，在本地完成追踪后以计算图的形式发送到 API，并在 River 的远程 GPU 集群上以并行化和内存高效流式处理的方式大规模执行。
维基媒体基金会提交了一份法庭之友意见书，主张法院应保护使用受版权保护的作品训练大型语言模型的行为，同时仍应限制聊天机器人复现这些内容。该基金会警告称，在涉及 OpenAI、微软和《纽约时报》的案件中，过于宽泛的裁决可能威胁开放网络。
文章解读 DeepSeek V4.1 flash 更新中提到的「基于自反馈的强化学习」训练技术，解释其如何为缺少标准答案的「许愿式编程」等长程 Agent 任务提供更密集的奖励信号，并整理了 10 篇 2024-2026 年自反馈强化学习相关论文。
在 EMNLP 2026 上，T-Tech 研究人员介绍了 LIMe，这是一种轻量级注意力扩展，通过复用较早层的键值缓冲区来缓解表征坍缩。在约 10 亿参数的模型上，与基线 LLaMA 相比，它在保持同等质量的同时，将大语言模型的训练计算量减少了约 15%。
本文分析了大语言模型同策略强化学习中的训练与推理不匹配问题，将采样词元误差分解为数值偏差和策略滞后，并推导出一种偏差–滞后校正方法（DLC），通过对误差进行中心化、裁剪滞后比率以及重新同步采样器来防止训练崩溃。
论文提出了 InfraDev 基准，包含 36 个源自 Megatron-LM、vLLM 和 verl 真实 PR 的任务，用于评估编码代理开发生产级 AI 基础设施的能力。目前表现最佳的前沿模型仅能解决 38.9% 的任务，揭示了代理在分布式系统开发中的显著短板。
耶鲁大学研究人员确立了思维链（CoT）可监测性指标的因果上界和下界，表明最低标准真阳性率（TPR）指标可能高估对干预所致行为的检测能力，并提出三种考虑干预的后训练方法（离策略自蒸馏、强化学习、在策略自蒸馏），以提高大语言模型推理轨迹的可监测性。
本文分析了 Muon 优化器何时以及如何带来预条件收益，表明它在各向同性噪声下无法加速，但在具有结构的 mini-batch 梯度噪声下，可以将对任务频率的依赖从线性降至平方根，同时避免 SignSGD 因旋转而引发的负迁移。
LazyFlash 提出一种前向稠密、后向稀疏的注意力机制，通过梯度感知的块稀疏化在保持模型性能的同时，实现最高 5.7x 的注意力反向加速和 1.7x 的端到端训练加速，适用于长上下文 LLM 微调。
Modal 发布 Spindle，一个开源、与 Tinker 兼容的训练服务器，可在 Modal 工作区中运行，让现有 Tinker 脚本无需改动即可迁移，并以 GPU 时间计费取代按 token 计费。
TrainBridge 是一个智能体框架，可将 GPU 编译优化指导迁移到昇腾 NPU 训练程序中。它从 GPU 执行过程中提取优化意图，并通过性能分析迭代改进 NPU 程序，在四种工作负载上实现了平均 1.7 倍的加速，并在 27 项 Modded-NanoGPT 竞速记录上实现了近 2.0 倍的加速。
Google Research 推出了 SimHack，这是一款模拟器，可在开展成本高昂的全规模训练之前，预测编程大语言模型在强化学习（RL）训练过程中何时会以可检测到的奖励作弊行为为主。它对奖励作弊出现时点的预测相对误差中位数为 11.3%，在不同训练方案之间的排名相关系数为 0.85，还能筛选训练课程，找出在不发生奖励作弊的情况下可将训练时长延长 96.6% 的课程。
PyTorch Con 2026 主题演讲预告：智能体人工智能基金会执行董事 Mazin Gilbert 将探讨大语言模型如何从智能体行为中学习，提出五层智能体栈架构，并介绍将智能体评估结果作为 PyTorch 训练奖励反馈的开放研究方向。
ICCLHerd 提出一种基于 herding 的 LLM 训练数据选择框架，利用 von Mises–Fisher 核平衡 mode-seeking 与 mode-averaging，并以 in-context learning 作为验证代理进行超参数搜索，实验表明其优于现有数据选择算法。
论文提出了 Ask-to-Distill（A2D）框架，通过强化学习训练一个以学生模型初始化的合成器，生成能够激发教师密集监督信号的合成问题，从而实现无需参考答案的 on-policy 蒸馏。该方法在数学、代码和智能体任务上，相比未优化的提示词和真实问题库，均提升了性能并更有效地缩小了与教师模型的差距。
TraceForge 提出一种两阶段（监督+对抗）方法，从教师答案中生成匹配学生模型自身风格的推理轨迹，无需访问隐藏思维链，在 HumanEval+ 和 MBPP+ 等编码基准上显著超越使用教师原始思考内容的训练效果。