标签
前 JetBrains Mellum 预训练负责人 Nikita Pavlichenko 通过 1129 次训练实验系统评估了 2020 年以来的 LLM 架构改动，指出架构红利基本被 DeepSeek-V3 那一代吃完，细粒度 MoE 和线性注意力是最扎实的进步，而 Muon 等训练方法与推理 kernel 的影响常被低估。
该论文研究随机舍入如何影响低精度训练中的预测风险，针对两层线性网络推导了匹配的上下界，并给出了随计算量、模型规模、训练时长与精度变化的缩放定律，揭示前向与后向舍入对最优计算缩放的不同影响。
Randall Balestriero和Yann LeCun的一篇新论文提出，产生统一世界表征的关键是配对视图训练（如图文配对），而非单纯追求规模或预测下一个词——研究表明一个1.09亿参数的模型在表征对齐方面超越了720亿参数的语言模型。
一篇讨论线程，介绍通过拟合缩放定律（scaling laws）来确定在合成改写上应投入多少算力以提升数据质量，以及基于改写数据训练的模型能否超越执行改写的模型本身的研究。
OpenEBFM 引入了基于能量的基础模型，将生成过程分为能量引导和词元生成两个部分。在参数规模最高达 10 亿的情况下，与配置相当的 GPT 基线模型相比，这些模型在数据量、参数量和计算量方面展现出更好的扩展性。完整代码、模型检查点和 EBFM 聊天机器人均已开源。
苹果公司的新论文介绍了 SynthAPI，表明对于使用工具的智能体而言，应用和数据库状态的多样性比单纯的任务数量更重要，并推导出一条数据混合缩放定律，其对留出集泛化能力的预测远优于仅基于任务数量的定律。
论文将柏拉图表征假说转化为定理，证明在多种模态上分别训练的 JEPA 会收敛到共享表征（至多相差一次旋转），并指出下一个词预测本质上是使用"劣质视图"的 JEPA——这使其在跨模态对齐上效率远低得多（优质视图所需样本少 42 倍）。
Cartesia 发布了关于分层网络（H-Nets）的研究博客，展示了无需分词器的字节级语言模型在受控实验中实现 3-5 倍计算效率提升，2 阶段 H-Net 以 10 倍更少的计算量和数据超越了规模匹配的开源模型，并在代码等领域的表现出色。
Cartesia 的 From Tokens to Bytes 系列第一篇探讨了 Hierarchical Networks（H-Net）的扩展规律，展示了学习式 tokenization 带来的 3-5 倍计算效率提升，2 阶段 H-Net 以 10 倍更少的算力和数据超越了相匹配的开源模型，并呈现了 in-context tokenization 等新行为，以及在生物、视觉等跨模态任务上的潜力。
Albert Gu 宣布了 hierarchical networks (H-Nets) 的新版本，在 scaling law 受控实验中实现了 3-5 倍的效率提升，用大约 10 倍更少的数据和计算量匹敌一个在 11T tokens 上训练的开源模型，这是迈向从原始字节端到端学习的重要一步。
一项关于演员-评论家算法在 Starpilot 和 Craftax 环境中的强化学习缩放定律的实证研究，表明基于 Elo 的性能指标比平均回合回报更具可预测性，并通过扩大计算规模在 Craftax 中取得了最先进的结果。
该论文引入了“模型信息”这一信息论度量，用于衡量训练后的扩散模型的输出对其训练数据集的依赖程度，并揭示了两种缩放区间：标志着从记忆到不完全泛化转变的非线性区间，以及线性泛化区间。论文提出了一条具有理论依据的缩放定律，由此推导出可用于外推的记忆程度和样本质量缩放定律。
一位 Stanford CS312（Deep Learning Alchemy）的讲师发布了考试风格的预测题，考察深度学习直觉：在用 AdamW 训练的 Transformer 中，批量大小增加 8 倍后，能否通过调整学习率或权重衰减来补偿？
Dario Amodei 回忆 GPT-2 发布时给他的震撼，称当时就预见到规模再放大一百万倍后模型将在所有方面超越人类，并认为这是现代决定性的经济与科学时刻。
康奈尔大学的一篇文章/综述，讲解如何构建现代离散扩散语言模型，涵盖迭代式并行精炼、每秒数千 token 的快速采样，以及它们相比自回归大语言模型在改进缩放定律方面的潜力。
该论文提出了一种重写缩放定律，根据模型规模、训练词元数、重写比例和数据训练轮数来预测损失，同时考虑生成重写数据所需的计算量。研究发现，最优重写比例随计算量的增加而提高，且使用重写数据训练的模型可以超越生成这些重写数据的模型。
提出「先知后画」的混合学习范式，用自回归预训练获取语义知识、扩散后训练进行高保真渲染，并建立计算最优扩展律，仅用6,600 H100 GPU小时训出3B文生图模型，在GenEval和DPG-Bench上取得86/87的成绩。
论文提出IEC框架，研究语言模型在受控指令负载（如无意义的单词替换规则）下的行为与性能退化，揭示了规则数量、替换密度、规则位置等因素遵循的数学规律，并在GPT-4o mini上验证，为模型建立可复现的"能力护照"。
文章汇总了过去一个月内 AI 在数学、生物、医学、化学、物理、能源、神经科学与机器人等领域的密集突破，研究者称之为「外星数学/外星心智」，并指出扩展定律与算力、训练方法、AI 自我迭代三大倍增器正将能力曲线推向垂直。
在 PyTorchCon 2026 上，Sara Hooker（Coatue/Adaption AI）发表主旨演讲，探讨扩展更大模型的局限以及向自适应智能的转变，涵盖后训练、测试时扩展、自适应计算和硬件协同设计，并展示 AutoScientist 相关案例。