pretraining

一篇近期值得关注的论文提出了「统一训练」（unified training）算法，将预训练、中间训练和后训练整合进单一算法流程，从而简化基础设施并为更好的科学研究提供框架。

该论文首次表明，仅对 0.1% 的预训练数据投毒，就能在编程智能体中植入远程代码执行后门，使其在触发条件出现时执行攻击者指定的命令，而在其他情况下表现正常；40 亿参数的 Qwen3 模型的攻击成功率达到约 92%。

一篇由 CMU 主导的论文提出了“统一训练”（unified training），表明预训练、中期训练（midtraining）、SFT 和强化学习可以被统一为一个基于似然的算法，其中 RL 目标被视作对模型生成目标的最大似然拟合；在多项准确率-计算量以及持续学习实验中，该方法优于分阶段训练。

卡内基梅隆大学的一篇论文表明，预训练、微调和强化学习可以统一为一条训练规则（将 MaxRL 视为针对正确答案的似然训练）。混合数据训练在推理和编程基准测试中的表现优于分阶段训练，同时保留了通用能力。

作者推荐了 MAI-Thinking-1 和 Qwen3.8-Flash-Next 两份技术报告，认为它们是了解前沿大模型训练细节的最佳学习材料，涵盖数据处理、预训练、强化学习、架构选择与训练稳定性等内容。

OpenEBFM 引入了基于能量的基础模型，将生成过程分为能量引导和词元生成两个部分。在参数规模最高达 10 亿的情况下，与配置相当的 GPT 基线模型相比，这些模型在数据量、参数量和计算量方面展现出更好的扩展性。完整代码、模型检查点和 EBFM 聊天机器人均已开源。

一条推文猜测，传闻中的 OpenAI GPT-6.5 Bel 在预训练时拥有超过 10 万亿个参数，暗示它在经过后训练后可能实现重大飞跃。

该论文指出，权重归一化（WN）训练的收益主要源于其诱导出的有效学习率（ELR）轨迹，而非归一化本身，并据此提出 AIR（仿射平方根倒数衰减）调度策略。在 1280 亿词元的混合专家模型（MoE）预训练实验中，AIR 在训练损失、下游性能和超参数鲁棒性方面均优于余弦退火等调度方案。

一位独立研究者从零训练了 Apex-3，一个 21B 参数的 MoE 模型（3.36B 激活参数），使用 70B tokens，发布了稳定的检查点并分享了训练日志中涌现行为的证据。最明确的发现是在上下文学习中约 1.3B-1.5B tokens 处出现了一个尖锐的相变，而算术能力的提升虽然在精确匹配上看起来是突变的，但在概率上是连续的。

研究人员基于 90 亿个词元的开放数据，训练了参数规模从 1200 万到 10 亿不等、基于 ModernBERT 的冰岛语编码器。结果表明，从头训练的 10 亿参数模型在全部十一项任务上均优于 IceBERT，而以英语 Ettin 编码器进行热启动的模型在所有基准测试中均取得了最佳成绩，同时凸显了词表移植的重要性。

ARMOR-DP 是一个面向多语言 BabyLM 的模块化框架，可根据各语言的验证损失动态调整语言采样。结果表明，表现最弱的语言会在训练过程中发生变化，且动态保护优于固定保护中文的基线方法。

该论文提出了一个统一的六维分析框架，系统综述了2017–2026年大模型训练全流程（数据与分词、预训练、SFT与偏好对齐/强化学习）的395篇核心文献，并揭示了跨阶段效应与多个开放问题。

该论文提出了一种重写缩放定律，根据模型规模、训练词元数、重写比例和数据训练轮数来预测损失，同时考虑生成重写数据所需的计算量。研究发现，最优重写比例随计算量的增加而提高，且使用重写数据训练的模型可以超越生成这些重写数据的模型。

提出了名为 Nestor 的嵌套稀疏机制，将条件计算从 MoE 扩展到注意力算子，使稀疏性层级组合，在同等计算与稀疏度下优于传统 MoE，并在长上下文与领域持续预训练中表现更佳。

Mirendil 发布其首个自研基础模型 Fern，支持最高 10M token 上下文窗口，专注于大规模 agentic 任务，如全代码库审计、日志调试和完整轨迹分析。

该论文介绍了拉丁语 Modern BERT（LAMB），这是一种基于 ModernBERT 的编码器，采用融入形态学信息的掩码策略，在超过 740 亿个拉丁语词元上进行预训练；同时还介绍了两个新的拉丁语语料库（Acervus 和 Corpus Trinum），并表明该模型在 17 项基准子任务中的 16 项上优于 15 种现有编码器。

RynnVLA-Latent 提出利用 3.01 万小时的异构视频学习以三维空间为基础的潜在动作，预训练具有 40 亿参数的视觉-语言-动作策略，在 LIBERO（成功率 98.8%）、RoboTwin 2.0 及真实机器人操作任务上取得领先的成功率，无需针对基准进行专门调优。

一个 Hugging Face 仓库发布了据称泄露的、Anthropic 尚未发布的约 140 亿（14T）参数 Mythos 级模型（代号 "numbat"，在 Claude Code 源码泄露中被提及）的预训练中期检查点，包含 772 个 safetensors 分片（约 7.72 TB）、完整的参考实现，以及在约 1.96M 步训练中进行到第 1.83M 步的训练日志。

论文提出 Causal Edit Serialization (CES) 框架，通过特殊指针令牌与双索引 RoPE，在标准因果注意力掩码下实现插入、删除、替换、复制和移动等局部化文本编辑，并在文法纠错任务上验证了监督与强化学习后训练的可行性。

该研究系统考察了在预训练与后训练阶段切换 AdamW 和 Muon 优化器的代价，发现最终性能主要由两个优化器各自独立的效果解释，切换优化器几乎没有额外的性能惩罚，后训练优化器的选择可基本独立于预训练优化器。