标签
Deep Principle 发布了 Hydrogen-1.0,这是一款基于 GLM-5.3 进行后训练的开放权重模型,面向化学、材料科学和生命科学领域。他们通过一部短片展示了该模型如何与其 Mira AI Scientist 助手一起融入日常科研工作流程。
Trajectory 完成了由红杉资本领投的 4500 万美元 A 轮融资,估值达 3 亿美元,旨在让非技术背景的领域专家也能对开源 AI 模型进行持续学习和后训练,其客户包括 Harvey、Rogo 和英伟达。
该论文介绍了 Noura,这是一个将可执行的个体化临床规范转化为监督信号的框架,用于基于大语言模型的饮食规划,使 Qwen3-14B 等小型模型能够显著提高多日膳食计划的合规性,并减少规则违反情况,优于更大模型直接生成的结果。
本文探索了在大语言模型后训练过程中将引导向量用作训练信号的方法,表明将其注入隐藏状态能够改善监督微调(SFT)和蒸馏效果(提升幅度最高达 12%),并且基于正确性对比的方向可以修正 GRPO 中的优势值,从而恢复零梯度组中的学习信号。
一篇近期值得关注的论文提出了「统一训练」(unified training)算法,将预训练、中间训练和后训练整合进单一算法流程,从而简化基础设施并为更好的科学研究提供框架。
SWE-Trail 是一种面向编码智能体、由历史信息引导的轨迹收集器,利用先前的 rollout 来指导收集资源的分配,同时不向智能体暴露这些历史信息,从而避免训练与测试不匹配。在其收集的轨迹上训练后,参数量为 124B 的 Ling-3.0-flash-base 学生模型在 SWE-bench Multilingual 和 SWE-bench Pro 上的解决率相比独立采样分别提高了 2.33 和 1.60 个百分点。
Rubricon 是 Handshake AI 推出的一套流水线,无需人工标注或微调,即可自动生成并优化用于大语言模型评估和后训练的判别式评分标准。与以往的合成方法相比,其与专家评分标准的一致性提高了 9%;在训练 Qwen3.5-9B 时,HealthBench 性能提升了 4.5%。
IBM Research 推出了 LLMON(LLM 对象表示法),这是一种将可执行指令与被动数据分离的后训练方法。在微调 Granite-4.1 模型时,该方法将提示注入攻击的成功率从 53–100% 降至 0.02–5.6%,同时保留了模型的通用能力。
Modal 宣布为后训练 Reflection 的 Beam 模型提供一流的支持,并发布了 Modal Dojo——一个用于在 Modal 上进行生产级 LLM 训练(包括强化学习)的开源库与技能包,其中包含在 GSM8K 上训练 Qwen3.5-4B 的示例。
用密室逃脱的类比来入门强化学习环境,解释在预训练数据已经耗尽的当下,工具、任务和验证器如何结合起来,为AI智能体生成全新的训练信号。
Anyscale 将举办一场关于大语言模型后训练中强化学习的网络研讨会,内容涵盖基于 GRPO 的 RLVR、同策略蒸馏(OPD/MOPD)、终端智能体后训练,以及对 SkyRL 异步强化学习能力的深入探讨。
UkisAI 发布了 Swift GLM-5.3-Flash 和 Swift Ornith 9B 两款高效推理模型,通过 GSQ-RCO 对病态过度思考 token 的惩罚、基于强化学习的适配以及同策略蒸馏,在保持准确性的同时显著减少思考 token 用量(分别降低 61.4% 和 33.5%),并发布了多种量化格式。
Roboflow 宣布与 NVIDIA 达成合作,并作为多模态数据和后训练能力的首发提供商加入 Cosmos 联盟,以推动面向实体经济的前沿世界模型研究。
Hugging Face发布了一套5步AI智能体后训练课程,涵盖SFT、蒸馏、基于GRPO的强化学习、RL环境以及harness规模训练,每一步都配有直播、代码和文档。
一篇面向 LLM 读者的中文强化学习术语科普文章,用 Is OpenAI open? 这个例子串讲 policy、state、action、reward、return、value、advantage、GAE 等概念,解释 judge 只给整段回答打分时,分数如何分配到每个 token。文章以 DeepSeek-R1-Zero 的 RLVR 训练为背景,是后训练系列的第四篇。
该论文提出了递归知识改进(RKI),将知识改进建模为序列化、状态感知的干预过程,通过辨别知识状态别名问题来指导干预选择,在 HotpotEval 和 SafeInternalEval 上平均提升了 18.41 分。
该论文研究预训练模型容量如何影响因果任务的适应效果,基于 Qwen 2.5 构建了 CausalLLM(标量势结果估计)和 CausalGen(生成式反事实建模)两个系统,探讨从标量预测到反事实后训练的容量-适应对齐问题,并被 NeurIPS 2026 Workshop 接收。
本文提出教师演化自蒸馏(TESD),通过以奖励引导的目标持续优化自教师模型,并自适应地降低教师指导不可靠样本的权重,从而改进在策略自蒸馏,在多个数据集和模型规模上均稳定优于 token 级和序列级基线方法。
RSI Arena 推出了一项分为两个阶段的研究:十个前沿 AI 智能体在固定的 GPU 和 API 预算下,以人类偏好反馈为指导,从同一个基础模型出发,自主开展语言模型后训练。表现最强的智能体(GPT-6 Astra)弥合了基础模型与指令模型之间差距的 76%,且大多数模型在第二阶段比第一阶段更受人类青睐,展示了在结合人类反馈的递归自我改进(RSIHF)方向上迈出的一步。
该论文通过受控实验研究了不同意见混合比例的后训练语料如何在SFT、DPO和GRPO等五种后训练路径中放大LLM的价值偏好失衡,并发现这些偏好可通过蒸馏传递给学生模型,建议在开发和评估LLM时应同时考虑语料意见构成与后训练方法的选择。