标签
据《星报日报》记者多方供应链消息，DeepSeek 下一代大模型 DeepSeek V5 计划在华为昇腾芯片上进行预训练，此前昇腾主要用于 DeepSeek 模型的推理任务。这将是国产算力首次支撑大模型预训练阶段，并伴随 DeepSeek 与华为在昇腾软件栈上的深度协同开源。
韩俊林宣布以 MTS 身份加入 AMI Labs，从事世界模型预训练与能力涌现方面的工作，并表达了以 scaling 思维为现实世界构建 AI 的兴奋之情。
该论文提出词级未登录词交叉熵（UCE）作为衡量预训练语料与零样本基准词面对齐的无模型指标，并通过受控预训练实验表明语料-基准的词面对齐能一致地预测零样本准确率，同时在文档选择与提示路由层面展示了可操控的收益。
HuGe 提出了一族人形通用视觉-语言-动作（VLA）模型，利用超过2000小时的第一人称人类与机器人数据进行预训练，并通过伪本体感知与视觉适配实现全身控制，在 HumanoidArena 仿真基准上达到 SOTA，同时在 Unitree G1 实体机器人上验证了其有效性。
TempoPFN 发表于 NeurIPS 2026，提出一个合成时间序列生成器与增强库，用于预训练线性 RNN 时间序列基础模型，实现零样本预测，并已开源代码与模型权重。
微软公布了其最新的 MoE 基础模型 MAI-Base-2（80B 激活参数 / 2.8T 总参数），在自研评测中超越所有开源权重模型，预训练 FLOPs 效率比 DeepSeek-V4-Pro-Base 高 4-12 倍，使用 16k 张 GB200 GPU 在 38 天内完成训练。
该论文通过受控消融实验研究原生多模态预训练中视觉信号对扩展行为的影响，发现视觉内容作为可扩展锚点不仅能提升多模态理解，其收益还能延伸到纯文本空间推理任务（如定位、导航和符号规划），同时不损害整体语言性能。
一位独立研究者记录了在单块 NVIDIA GH200 上预训练一个 210 亿参数的 MoE 模型时，通过结合现有优化技术，将模型 FLOPs 利用率（MFU）从 21% 提升至 50% 的过程，并为预算有限的大语言模型开发者分享了代码、日志和各阶段的指标。
UltraBERT 重新审视了双向编码器的预训练设计选择，揭示了在超过数万亿 token 后性能趋于饱和、分类与检索任务之间掩码比例的权衡，并提出了一种双 LM 头蒸馏方法，在 GLUE（91.0）和 BEIR（47.7）上均达到了最先进的性能。
研究人员提出BioBigBird，一个基于稀疏注意力机制、可处理最长4096 token的双向生物医学预训练语言模型，并通过多任务学习联合优化命名实体识别（NER）和关系抽取，在BLURB基准上取得了具有竞争力的结果。
OpenESM 提出能量引导模型（ESM），将能量引导的潜状态优化与 token 生成统一到单一架构中，在大规模语料上进行能量引导预训练，表现出良好的扩展性并在多数下游任务上超越 GPT，同时完全开源模型权重与训练基础设施。
一篇 Reddit 帖子质疑 Qwen 的 27B 模型为何能达到与 GPT-4o 相当甚至更好的性能，并推测这是否归功于质量更高、数量更充足的预训练数据，或是其他新技术带来的效率提升。
Aleph Alpha 介绍了他们如何将 30B-A3B MoE 模型（被证实为 Kolibri Origin）的预训练从 16 块 NVIDIA B200 GPU 扩展到 512 块，采用分层超参数搜索方法，实现了 35.3% 的 MFU，接近线性扩展——仅比理想情况低 6%，训练基于 InfiniBand/NVLink 网络，使用自定义的 torchtitan 分支。
来自 Meta Superintelligence Labs 的一篇论文表明，配备轻量推理框架的预训练大语言模型能够充当有能力的智能体，在给予足够的测试时采样预算时，甚至能超越经过强化学习后训练的同类模型。
一篇新论文揭示了 LLM 预训练中的“模式跳跃”（mode-hopping）现象：即使训练损失保持平稳，模型也会在浅层模式匹配与真正的泛化能力之间反复切换——这意味着更多的预训练并不总能保证更好的泛化效果。
该论文提出"模式跳变"(mode-hopping)概念，指出LM预训练中平滑下降的损失与稳定基准分数会掩盖模型答题方式的突变（如OLMo3-32B在算术提示上81%→0%→81.7%的反复），并通过六项廉价行为测试排除了评估指标非线性与局部优化波动等简单解释。
文章质疑 Nvidia 的 Vera Rubin 是否会加速 LLM 预训练，并探讨了考虑到数据、电力和成本等限制，超过 10 万亿参数的模型是否可行。
本文介绍EoupCT，一种通过估计并正交化未知预训练梯度来缓解大型语言模型持续微调中灾难性遗忘的新颖框架。
本文系统评估了EEG基础模型在MAE和JEPA框架下的掩码策略，识别了最佳配置和一种新的故障模式，以减少计算量达到与REVE相当的性能。
何纪言老师和中关村学院的7名博士生在3个月内从零开始训练了一个7B模型，达到了7B模型类别的最先进性能，分享了高效训练和数据质量的见解。