post-training

标签

Cards List
#post-training

从昨天的成果到明天的实验:研究工作流程中的 Hydrogen-1.0

Reddit r/ArtificialInteligence ↗ · 6天前

Deep Principle 发布了 Hydrogen-1.0,这是一款基于 GLM-5.3 进行后训练的开放权重模型,面向化学、材料科学和生命科学领域。他们通过一部短片展示了该模型如何与其 Mira AI Scientist 助手一起融入日常科研工作流程。

0 人收藏 0 人点赞
#post-training

Trajectory 融资 4500 万美元,让非技术领域专家也能轻松训练 AI 模型

TechCrunch AI ↗ · 2026-11-02 缓存

Trajectory 完成了由红杉资本领投的 4500 万美元 A 轮融资,估值达 3 亿美元,旨在让非技术背景的领域专家也能对开源 AI 模型进行持续学习和后训练,其客户包括 Harvey、Rogo 和英伟达。

0 人收藏 0 人点赞
#post-training

个人需求能否成为规划的监督信号?

arXiv cs.AI ↗ · 2026-11-02 缓存

该论文介绍了 Noura,这是一个将可执行的个体化临床规范转化为监督信号的框架,用于基于大语言模型的饮食规划,使 Qwen3-14B 等小型模型能够显著提高多日膳食计划的合规性,并减少规则违反情况,优于更大模型直接生成的结果。

0 人收藏 0 人点赞
#post-training

将引导向量用作大语言模型后训练中的训练信号

arXiv cs.LG ↗ · 2026-11-02 缓存

本文探索了在大语言模型后训练过程中将引导向量用作训练信号的方法,表明将其注入隐藏状态能够改善监督微调(SFT)和蒸馏效果(提升幅度最高达 12%),并且基于正确性对比的方向可以修正 GRPO 中的优势值,从而恢复零梯度组中的学习信号。

0 人收藏 0 人点赞
#post-training

@alacheng: 近几天最值得看的论文,把预训练、中间训练和后训练用一个算法统一起来了的架构!!!

X AI KOLs Timeline ↗ · 2026-11-02 缓存

一篇近期值得关注的论文提出了「统一训练」(unified training)算法,将预训练、中间训练和后训练整合进单一算法流程,从而简化基础设施并为更好的科学研究提供框架。

0 人收藏 0 人点赞
#post-training

SWE-Trail:用于编程智能体训练的历史引导轨迹收集

Hugging Face Daily Papers ↗ · 2026-11-01 缓存

SWE-Trail 是一种面向编码智能体、由历史信息引导的轨迹收集器,利用先前的 rollout 来指导收集资源的分配,同时不向智能体暴露这些历史信息,从而避免训练与测试不匹配。在其收集的轨迹上训练后,参数量为 124B 的 Ling-3.0-flash-base 学生模型在 SWE-bench Multilingual 和 SWE-bench Pro 上的解决率相比独立采样分别提高了 2.33 和 1.60 个百分点。

0 人收藏 0 人点赞
#post-training

Rubricon:用于大语言模型评估与训练的评分标准自动生成与优化

arXiv cs.AI ↗ · 2026-10-31 缓存

Rubricon 是 Handshake AI 推出的一套流水线,无需人工标注或微调,即可自动生成并优化用于大语言模型评估和后训练的判别式评分标准。与以往的合成方法相比,其与专家评分标准的一致性提高了 9%;在训练 Qwen3.5-9B 时,HealthBench 性能提升了 4.5%。

0 人收藏 0 人点赞
#post-training

使用 LLMON 对大语言模型进行后训练

arXiv cs.AI ↗ · 2026-10-31 缓存

IBM Research 推出了 LLMON(LLM 对象表示法),这是一种将可执行指令与被动数据分离的后训练方法。在微调 Granite-4.1 模型时,该方法将提示注入攻击的成功率从 53–100% 降至 0.02–5.6%,同时保留了模型的通用能力。

0 人收藏 0 人点赞
#post-training

@modal:我们还添加了对自主进行 Beam 模型后训练的一流支持。立即开始使用 Modal Dojo:https://dojo.modal.d…

X AI KOLs Following ↗ · 2026-10-30 缓存

Modal 宣布为后训练 Reflection 的 Beam 模型提供一流的支持,并发布了 Modal Dojo——一个用于在 Modal 上进行生产级 LLM 训练(包括强化学习)的开源库与技能包,其中包含在 GSM8K 上训练 Qwen3.5-4B 的示例。

0 人收藏 0 人点赞
#post-training

密室逃脱经济学(10分钟读完)

TLDR AI ↗ · 2026-10-30 缓存

用密室逃脱的类比来入门强化学习环境,解释在预训练数据已经耗尽的当下,工具、任务和验证器如何结合起来,为AI智能体生成全新的训练信号。

0 人收藏 0 人点赞
#post-training

@robertnishihara: 如果你想深入了解用于后训练的强化学习,请查看这场网络研讨会。我们将涵盖 - 如何……

X AI KOLs Timeline ↗ · 2026-10-29 缓存

Anyscale 将举办一场关于大语言模型后训练中强化学习的网络研讨会,内容涵盖基于 GRPO 的 RLVR、同策略蒸馏(OPD/MOPD)、终端智能体后训练,以及对 SkyRL 异步强化学习能力的深入探讨。

0 人收藏 0 人点赞
#post-training

UkisAI Swift GLM5.3 + GSQ-RCO,Swift Ornith 9B / 在最高推理强度下,Token 用量减少 57.7%,准确率损失低于 1%

Reddit r/LocalLLaMA ↗ · 2026-10-29

UkisAI 发布了 Swift GLM-5.3-Flash 和 Swift Ornith 9B 两款高效推理模型,通过 GSQ-RCO 对病态过度思考 token 的惩罚、基于强化学习的适配以及同策略蒸馏,在保持准确性的同时显著减少思考 token 用量(分别降低 61.4% 和 33.5%),并发布了多种量化格式。

0 人收藏 0 人点赞
#post-training

@roboflow:今天,我们宣布已与 NVIDIA 达成合作,并加入 Cosmos 联盟——这是一个由全球领先的…

X AI KOLs Following ↗ · 2026-10-28 缓存

Roboflow 宣布与 NVIDIA 达成合作,并作为多模态数据和后训练能力的首发提供商加入 Cosmos 联盟,以推动面向实体经济的前沿世界模型研究。

0 人收藏 0 人点赞
#post-training

@SergioPaniego:如何对智能体进行后训练?我们将其梳理为5步课程体系,从SFT到通过真实harness进行RL训练,并配有直播…

X AI KOLs Following ↗ · 2026-10-28 缓存

Hugging Face发布了一套5步AI智能体后训练课程,涵盖SFT、蒸馏、基于GRPO的强化学习、RL环境以及harness规模训练,每一步都配有直播、代码和文档。

0 人收藏 0 人点赞
#post-training

@dongxi_nlp: https://x.com/dongxi_nlp/status/2115389565628305715

X AI KOLs Timeline ↗ · 2026-10-28 缓存

一篇面向 LLM 读者的中文强化学习术语科普文章,用 Is OpenAI open? 这个例子串讲 policy、state、action、reward、return、value、advantage、GAE 等概念,解释 judge 只给整段回答打分时,分数如何分配到每个 token。文章以 DeepSeek-R1-Zero 的 RLVR 训练为背景,是后训练系列的第四篇。

0 人收藏 0 人点赞
#post-training

仅定位弱点还不够:面向大语言模型的状态感知递归知识改进

arXiv cs.CL ↗ · 2026-10-28 缓存

该论文提出了递归知识改进(RKI),将知识改进建模为序列化、状态感知的干预过程,通过辨别知识状态别名问题来指导干预选择,在 HotpotEval 和 SafeInternalEval 上平均提升了 18.41 分。

0 人收藏 0 人点赞
#post-training

预训练能力何时有助于因果学习?从标量预测到反事实后训练

arXiv cs.LG ↗ · 2026-10-28 缓存

该论文研究预训练模型容量如何影响因果任务的适应效果,基于 Qwen 2.5 构建了 CausalLLM(标量势结果估计)和 CausalGen(生成式反事实建模)两个系统,探讨从标量预测到反事实后训练的容量-适应对齐问题,并被 NeurIPS 2026 Workshop 接收。

0 人收藏 0 人点赞
#post-training

基于教师演化的在策略自蒸馏

Hugging Face Daily Papers ↗ · 2026-10-28 缓存

本文提出教师演化自蒸馏(TESD),通过以奖励引导的目标持续优化自教师模型,并自适应地降低教师指导不可靠样本的权重,从而改进在策略自蒸馏,在多个数据集和模型规模上均稳定优于 token 级和序列级基线方法。

0 人收藏 0 人点赞
#post-training

RSI Arena:迈向基于人类反馈的递归自我改进

arXiv cs.CL ↗ · 2026-10-27 缓存

RSI Arena 推出了一项分为两个阶段的研究:十个前沿 AI 智能体在固定的 GPU 和 API 预算下,以人类偏好反馈为指导,从同一个基础模型出发,自主开展语言模型后训练。表现最强的智能体(GPT-6 Astra)弥合了基础模型与指令模型之间差距的 76%,且大多数模型在第二阶段比第一阶段更受人类青睐,展示了在结合人类反馈的递归自我改进(RSIHF)方向上迈出的一步。

0 人收藏 0 人点赞
#post-training

后训练如何塑造大语言模型的价值偏好?

arXiv cs.CL ↗ · 2026-10-27 缓存

该论文通过受控实验研究了不同意见混合比例的后训练语料如何在SFT、DPO和GRPO等五种后训练路径中放大LLM的价值偏好失衡,并发现这些偏好可通过蒸馏传递给学生模型,建议在开发和评估LLM时应同时考虑语料意见构成与后训练方法的选择。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈