标签
Ion Stoica 在 PyTorchCon North America 2026 的主题演讲中讲述了 Ray 从强化学习框架演进为复杂 AI 工作负载分布式底座的历程,并宣布未来一年将用 Rust 重写核心组件、深化 Kubernetes 集成以及推出厂商中立的 SIGA Accelerators 路线图。
研究者提出了一种用于持续后训练的输入空间模型合并方法,使用一个 256 token 的软提示(约占参数量的 0.01%),其效果可媲美全参数强化学习;该方法支持即插即用的堆叠组合,无需联合训练即可超越各专家模型;在提升分布外泛化能力的同时几乎不产生遗忘,且推理开销接近于零。
论文表明,向冻结的扩散 Transformer 中加入一组固定的引导向量,即可恢复强化学习后训练 90–96% 的奖励提升,这说明大部分改进来自一个恒定的、与输入无关的偏移,而非复杂的依赖提示的变换。
该论文提出了 AutoMaster,一种使用 Skill-FT 的自主后训练系统,其中 LLM 智能体设计自然语言技能,以指导教师模型生成轨迹并改进目标模型的微调,在终端、搜索和软件工程任务中,相比常规监督微调(SFT)取得了 1.42–8.99 个百分点的提升。
Palo Alto Networks 宣布以 45 亿美元全股票交易收购 Applied Compute,后者是一个面向开放权重 AI 模型后训练与推理的平台,旨在帮助企业跨公共云和主权云安全地训练和部署开源 AI。
RadixArk 发布了 DaisyRose-27B,这是其首个基于 Qwen3.8-27B 构建的模型,使用 Miles 在长程智能体任务上进行强化学习后训练,将 Terminal-Bench 4.1 的 pass@1 从 5.6% 提升至 12.0%,并以 Apache 2.0 许可证开放模型检查点。
RadixArk 发布了 DaisyRose-27B,这是其首个基于 Qwen3.8-27B 构建的模型,并通过长时程智能体任务上的强化学习进行后训练,将 Terminal-Bench 4.1 的 pass@1 从 5.6% 提升至 12.0%,同时发布了 BF16、FP8 和 NVFP4 检查点。
本文研究了 NVIDIA 的 Nemotron 3.5 Super(总参数量 120B/激活参数量 12B)的强化学习后训练:通过 Tinker 上的 CISPO,使用秩为 32 的 LoRA 适配器,在五个由专家构建的 Surge AI 任务数据集上逐一进行训练。研究报告显示,在包括 SWE-bench Pro V2 和 GDP.pdf 在内的十二项基准测试中,得分提升了 4.5 至 13.8 分。
RiDEx 为扩散强化学习引入了奖励引导的定向探索,将扰动集中在去噪速度场中与奖励相关的子空间内,在 Stable Diffusion 3.5 Medium 上实现目标的速度最高可达 DiffusionNFT 的 29 倍。
论文提出 Multi-Expert Replay Policy Distillation (MRPD),通过回放专家 RL 训练日志而非重新采样来进行多教师整合,仅需约七分之一的计算量即可在推理、搜索和 SQL 三个长程 agentic 任务上超越在线 RL 基线与多教师在线蒸馏方法。
论文提出了 Xing4 系列大语言模型,该系列延续 TeleChat 血脉,详细介绍了架构设计、在 8,192 块 Ascend 910C 芯片上借助 MindSpore HyperParallel 完成的 285B 模型大规模预训练,以及通过 TeleGym 执行平台进行的 Agent 后训练。
本文提出了 M3OPD-Reasoner,这是一套完全开放的视觉语言模型后训练方案,采用多教师同策略蒸馏(MOPD),涵盖图像 STEM、图像感知和视频推理。研究表明,先进行 MOPD 再进行 MixRL 训练,所得模型在 21 项基准测试中的表现优于混合训练基线,并公开了全部数据、代码和模型检查点。
该论文提出了一种用于掩码扩散语言模型后训练的全块估计器,对每个块恰好评估一次,在保持无偏性的同时,消除了随机选择块所带来的方差。在五个数学、规划和编程基准上的实验表明,该方法在其中四个基准上取得了最高准确率,比随机块采样平均高出12.79个百分点。
作者宣布论文《Compositional Reasoning in Language Models under Reinforcement Learning Post-Training》被 NeurIPS 2026 接收,探讨 LLM 能否在 RL 后训练中学到单项推理技能并将其组合以解决复杂问题。
Deep Principle 发布了 Hydrogen-1.0,这是一款基于 GLM-5.3 进行后训练的开放权重模型,面向化学、材料科学和生命科学领域。他们通过一部短片展示了该模型如何与其 Mira AI Scientist 助手一起融入日常科研工作流程。
Trajectory 完成了由红杉资本领投的 4500 万美元 A 轮融资,估值达 3 亿美元,旨在让非技术背景的领域专家也能对开源 AI 模型进行持续学习和后训练,其客户包括 Harvey、Rogo 和英伟达。
该论文介绍了 Noura,这是一个将可执行的个体化临床规范转化为监督信号的框架,用于基于大语言模型的饮食规划,使 Qwen3-14B 等小型模型能够显著提高多日膳食计划的合规性,并减少规则违反情况,优于更大模型直接生成的结果。
本文探索了在大语言模型后训练过程中将引导向量用作训练信号的方法,表明将其注入隐藏状态能够改善监督微调(SFT)和蒸馏效果(提升幅度最高达 12%),并且基于正确性对比的方向可以修正 GRPO 中的优势值,从而恢复零梯度组中的学习信号。
一篇近期值得关注的论文提出了「统一训练」(unified training)算法,将预训练、中间训练和后训练整合进单一算法流程,从而简化基础设施并为更好的科学研究提供框架。
SWE-Trail 是一种面向编码智能体、由历史信息引导的轨迹收集器,利用先前的 rollout 来指导收集资源的分配,同时不向智能体暴露这些历史信息,从而避免训练与测试不匹配。在其收集的轨迹上训练后,参数量为 124B 的 Ling-3.0-flash-base 学生模型在 SWE-bench Multilingual 和 SWE-bench Pro 上的解决率相比独立采样分别提高了 2.33 和 1.60 个百分点。