post-training

标签

Cards List
#post-training

@PyTorch:为什么日益复杂的 AI 工作负载适合使用 Ray?Ion Stoica(@istoica05,@UCBerkeley / @anyscalecompute)解释道……

X AI KOLs Following ↗ · 昨天 缓存

Ion Stoica 在 PyTorchCon North America 2026 的主题演讲中讲述了 Ray 从强化学习框架演进为复杂 AI 工作负载分布式底座的历程,并宣布未来一年将用 Rust 重写核心组件、深化 Kubernetes 集成以及推出厂商中立的 SIGA Accelerators 路线图。

1 人收藏 1 人点赞
#post-training

@zhenzhangzz:我们认为找到了一条更好的持续后训练路径:在输入空间合并模型。一个 256 token 的软提示(…

X AI KOLs Timeline ↗ · 2天前 缓存

研究者提出了一种用于持续后训练的输入空间模型合并方法,使用一个 256 token 的软提示(约占参数量的 0.01%),其效果可媲美全参数强化学习;该方法支持即插即用的堆叠组合,无需联合训练即可超越各专家模型;在提升分布外泛化能力的同时几乎不产生遗忘,且推理开销接近于零。

0 人收藏 0 人点赞
#post-training

扩散 Transformer 中的强化学习后训练本质上是激活引导

Hugging Face Daily Papers ↗ · 2天前 缓存

论文表明,向冻结的扩散 Transformer 中加入一组固定的引导向量,即可恢复强化学习后训练 90–96% 的奖励提升,这说明大部分改进来自一个恒定的、与输入无关的偏移,而非复杂的依赖提示的变换。

0 人收藏 0 人点赞
#post-training

AutoMaster:通过让同一模型成为更好的教师实现自主后训练

Hugging Face Daily Papers ↗ · 2天前 缓存

该论文提出了 AutoMaster,一种使用 Skill-FT 的自主后训练系统,其中 LLM 智能体设计自然语言技能,以指导教师模型生成轨迹并改进目标模型的微调,在终端、搜索和软件工程任务中,相比常规监督微调(SFT)取得了 1.42–8.99 个百分点的提升。

0 人收藏 0 人点赞
#post-training

Palo Alto Networks 将以 45 亿美元收购 Applied Compute

Hacker News Top ↗ · 2天前 缓存

Palo Alto Networks 宣布以 45 亿美元全股票交易收购 Applied Compute,后者是一个面向开放权重 AI 模型后训练与推理的平台,旨在帮助企业跨公共云和主权云安全地训练和部署开源 AI。

0 人收藏 0 人点赞
#post-training

DaisyRose-27B:推动后训练效率的前沿突破

Hugging Face Blog ↗ · 2天前 缓存

RadixArk 发布了 DaisyRose-27B,这是其首个基于 Qwen3.8-27B 构建的模型,使用 Miles 在长程智能体任务上进行强化学习后训练,将 Terminal-Bench 4.1 的 pass@1 从 5.6% 提升至 12.0%,并以 Apache 2.0 许可证开放模型检查点。

0 人收藏 0 人点赞
#post-training

DaisyRose-27B

Hacker News Top ↗ · 2天前 缓存

RadixArk 发布了 DaisyRose-27B,这是其首个基于 Qwen3.8-27B 构建的模型,并通过长时程智能体任务上的强化学习进行后训练,将 Terminal-Bench 4.1 的 pass@1 从 5.6% 提升至 12.0%,同时发布了 BF16、FP8 和 NVFP4 检查点。

0 人收藏 0 人点赞
#post-training

在专家构建的任务上进行强化学习教会了 Nemotron 3.5 Super 什么

arXiv cs.LG ↗ · 3天前 缓存

本文研究了 NVIDIA 的 Nemotron 3.5 Super(总参数量 120B/激活参数量 12B)的强化学习后训练:通过 Tinker 上的 CISPO,使用秩为 32 的 LoRA 适配器,在五个由专家构建的 Surge AI 任务数据集上逐一进行训练。研究报告显示,在包括 SWE-bench Pro V2 和 GDP.pdf 在内的十二项基准测试中,得分提升了 4.5 至 13.8 分。

0 人收藏 0 人点赞
#post-training

RiDEx:面向扩散强化学习的奖励引导定向探索

arXiv cs.LG ↗ · 3天前 缓存

RiDEx 为扩散强化学习引入了奖励引导的定向探索,将扰动集中在去噪速度场中与奖励相关的子空间内,在 Stable Diffusion 3.5 Medium 上实现目标的速度最高可达 DiffusionNFT 的 29 倍。

0 人收藏 0 人点赞
#post-training

回放,而非重采样:长程 RL 专家的 Off-Policy 整合

Hugging Face Daily Papers ↗ · 3天前 缓存

论文提出 Multi-Expert Replay Policy Distillation (MRPD),通过回放专家 RL 训练日志而非重新采样来进行多教师整合,仅需约七分之一的计算量即可在推理、搜索和 SQL 三个长程 agentic 任务上超越在线 RL 基线与多教师在线蒸馏方法。

0 人收藏 0 人点赞
#post-training

TeleChat 到 Xing4:在国产芯片与框架上推进前沿 Agent 模型

Hugging Face Daily Papers ↗ · 4天前 缓存

论文提出了 Xing4 系列大语言模型,该系列延续 TeleChat 血脉,详细介绍了架构设计、在 8,192 块 Ascend 910C 芯片上借助 MindSpore HyperParallel 完成的 285B 模型大规模预训练,以及通过 TeleGym 执行平台进行的 Agent 后训练。

0 人收藏 0 人点赞
#post-training

M3OPD-Reasoner:通过多教师同策略蒸馏进行多模态推理后训练的开放方案

Hugging Face Daily Papers ↗ · 4天前 缓存

本文提出了 M3OPD-Reasoner,这是一套完全开放的视觉语言模型后训练方案,采用多教师同策略蒸馏(MOPD),涵盖图像 STEM、图像感知和视频推理。研究表明,先进行 MOPD 再进行 MixRL 训练,所得模型在 21 项基准测试中的表现优于混合训练基线,并公开了全部数据、代码和模型检查点。

0 人收藏 0 人点赞
#post-training

每个块只见一次:掩码扩散语言模型的方差缩减后训练

arXiv cs.CL ↗ · 5天前 缓存

该论文提出了一种用于掩码扩散语言模型后训练的全块估计器,对每个块恰好评估一次,在保持无偏性的同时,消除了随机选择块所带来的方差。在五个数学、规划和编程基准上的实验表明,该方法在其中四个基准上取得了最高准确率,比随机块采样平均高出12.79个百分点。

0 人收藏 0 人点赞
#post-training

@yuhe441: Excited to share that our paper "Compositional Reasoning in Language Models under Reinforcement Learning Post-Training"…

X AI KOLs Following ↗ · 6天前 缓存

作者宣布论文《Compositional Reasoning in Language Models under Reinforcement Learning Post-Training》被 NeurIPS 2026 接收,探讨 LLM 能否在 RL 后训练中学到单项推理技能并将其组合以解决复杂问题。

0 人收藏 0 人点赞
#post-training

从昨天的成果到明天的实验:研究工作流程中的 Hydrogen-1.0

Reddit r/ArtificialInteligence ↗ · 2026-11-03

Deep Principle 发布了 Hydrogen-1.0,这是一款基于 GLM-5.3 进行后训练的开放权重模型,面向化学、材料科学和生命科学领域。他们通过一部短片展示了该模型如何与其 Mira AI Scientist 助手一起融入日常科研工作流程。

0 人收藏 0 人点赞
#post-training

Trajectory 融资 4500 万美元,让非技术领域专家也能轻松训练 AI 模型

TechCrunch AI ↗ · 2026-11-02 缓存

Trajectory 完成了由红杉资本领投的 4500 万美元 A 轮融资,估值达 3 亿美元,旨在让非技术背景的领域专家也能对开源 AI 模型进行持续学习和后训练,其客户包括 Harvey、Rogo 和英伟达。

0 人收藏 0 人点赞
#post-training

个人需求能否成为规划的监督信号?

arXiv cs.AI ↗ · 2026-11-02 缓存

该论文介绍了 Noura,这是一个将可执行的个体化临床规范转化为监督信号的框架,用于基于大语言模型的饮食规划,使 Qwen3-14B 等小型模型能够显著提高多日膳食计划的合规性,并减少规则违反情况,优于更大模型直接生成的结果。

0 人收藏 0 人点赞
#post-training

将引导向量用作大语言模型后训练中的训练信号

arXiv cs.LG ↗ · 2026-11-02 缓存

本文探索了在大语言模型后训练过程中将引导向量用作训练信号的方法,表明将其注入隐藏状态能够改善监督微调(SFT)和蒸馏效果(提升幅度最高达 12%),并且基于正确性对比的方向可以修正 GRPO 中的优势值,从而恢复零梯度组中的学习信号。

0 人收藏 0 人点赞
#post-training

@alacheng: 近几天最值得看的论文,把预训练、中间训练和后训练用一个算法统一起来了的架构!!!

X AI KOLs Timeline ↗ · 2026-11-02 缓存

一篇近期值得关注的论文提出了「统一训练」(unified training)算法,将预训练、中间训练和后训练整合进单一算法流程,从而简化基础设施并为更好的科学研究提供框架。

0 人收藏 0 人点赞
#post-training

SWE-Trail:用于编程智能体训练的历史引导轨迹收集

Hugging Face Daily Papers ↗ · 2026-11-01 缓存

SWE-Trail 是一种面向编码智能体、由历史信息引导的轨迹收集器,利用先前的 rollout 来指导收集资源的分配,同时不向智能体暴露这些历史信息,从而避免训练与测试不匹配。在其收集的轨迹上训练后,参数量为 124B 的 Ling-3.0-flash-base 学生模型在 SWE-bench Multilingual 和 SWE-bench Pro 上的解决率相比独立采样分别提高了 2.33 和 1.60 个百分点。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈