@alacheng: 近几天最值得看的论文，把预训练、中间训练和后训练用一个算法统一起来了的架构！！！
摘要
一篇近期值得关注的论文提出了「统一训练」（unified training）算法，将预训练、中间训练和后训练整合进单一算法流程，从而简化基础设施并为更好的科学研究提供框架。
查看缓存全文
缓存时间: 2026/11/02 12:10
近几天最值得看的论文，把预训练、中间训练和后训练用一个算法统一起来了的架构！！！
Yuda Song (@yus167): Foundation models are trained in stages: pretraining, midtraining, and post-training. But is this separation fundamental? We introduce unified training: a single algorithm for the full pipeline. This gives ⚙️ Simpler infrastructure 🔬 A framework for better science (1/n)
相似文章
覆盖大模型训练全流程的综合框架：从数据与分词，经预训练，到训练后对齐
该论文提出了一个统一的六维分析框架，系统综述了2017–2026年大模型训练全流程（数据与分词、预训练、SFT与偏好对齐/强化学习）的395篇核心文献，并揭示了跨阶段效应与多个开放问题。
@qingke_ai: https://x.com/qingke_ai/status/2073248986430115892
本文作者分享了从nnScaler到大规模分布式训练系统的经验与思考，讨论了训练系统的正确性、灵活性、边界扩展以及后训练与强化学习带来的挑战。
@omarsar0：强烈推荐 CMU 等机构的论文，讲基础模型是如何训练的。它从根本上提出一个问题：预训练是否真的…
一篇由 CMU 主导的论文提出了“统一训练”（unified training），表明预训练、中期训练（midtraining）、SFT 和强化学习可以被统一为一个基于似然的算法，其中 RL 目标被视作对模型生成目标的最大似然拟合；在多项准确率-计算量以及持续学习实验中，该方法优于分阶段训练。
@vintcessun: 预训练原来可以这么省？1B模型、~$1000就能从零训出可用的基础模型，计算和数据量直接砍掉数百倍。核心不靠堆算力，而是层次递归架构加上潜在空间推理，配合PrefixLM packing和FA3把效率拉满。有点离谱，但论文和代码都开源了。
HRM-Text发布了一个1B参数的基础模型，声称仅需约$1000即可从零完成预训练，计算量和数据量减少数百倍，采用层级递归架构、潜在空间推理和PrefixLM packing等高效技术，论文与代码均已开源。
使用单一算法训练基础模型
一篇将基础模型的各训练阶段（预训练、中期训练、监督微调、强化学习）统一到单一基于似然的算法下的论文。该算法融合静态数据与强化学习生成内容，改善了准确率与计算量之间的权衡，并增强了能力保留。