标签
该论文提出将 agentic RL 数据分解为**任务**、**环境**、**轨迹**三个维度，并分别拟合各维度的 scaling laws。研究发现，三个维度的扩展指数排序为：**环境多样性 > 任务 > 轨迹**。基于这一结论，作者推导出 Chinchilla 风格的计算最优数据配方，最高可获得 **1.7 倍**的计算效率提升。
一项涵盖约600次训练运行的规模扩展研究发现，在计算量相同的情况下，对循环 Transformer 采用完整的时间反向传播（BPTT）优于截断方案。其中，两个均经过完整训练的循环是计算最优配置，其参数量比非循环模型少约27%，性能却更优。
Inception Labs 发布 Mercury 3，这是迄今最强的扩散式 LLM，在多项基准上超越 GPT-6 Luna 和 Claude Haiku 5.5，同时以 1000+ tokens/秒的速度快 4-8 倍。模型规模比 Mercury 1 大 40 倍以上，支持 100 万 token 上下文，并以极具竞争力的价格面向生产环境开放。
MIT Technology Review 解读：依靠暴力堆叠扩展数据中心正逼近天花板——经典的缩放定律（摩尔定律、Dennard 缩放、Koomey 定律、Kryder 定律、Keck 定律）逐渐放缓，而计算的根本物理极限依然为进步留有空间。文章借用 Feynman 1959 年的演讲《There's Plenty of Room at the Bottom》（底层大有可为），为当今工程极限之下的下一个前沿划定坐标。
这篇论文提供了系统性的证据，表明视觉-语言模型在子任务层面会出现逆向扩展现象，即在空间推理、视觉感知和 STEM 问题等任务上，更大的模型反而表现不如更小的模型，这表明模型选择应当根据具体任务来决定。
提出了一种新的可扩展性原则——“有效连贯认知速度”（S_C^eff），用于衡量AI系统在现实变化速度超出训练分布时维持可靠行为的能力，并展示了受意识机制启发的Co⁴架构相比Transformer和门控多层感知机基线在此指标上表现更优。
微软公布了其最新的 MoE 基础模型 MAI-Base-2（80B 激活参数 / 2.8T 总参数），在自研评测中超越所有开源权重模型，预训练 FLOPs 效率比 DeepSeek-V4-Pro-Base 高 4-12 倍，使用 16k 张 GB200 GPU 在 38 天内完成训练。
作者认为缩放定律缺少一个参数 H —— 用于产生学习信号的人类努力/时间投入，而近年来大部分 AI 进步（ChatGPT 的 RLHF、编码/数学可验证任务、数据供应商的价值）源于 H 的扩展，而非仅仅模型规模或数据量。
该论文通过受控消融实验研究原生多模态预训练中视觉信号对扩展行为的影响，发现视觉内容作为可扩展锚点不仅能提升多模态理解，其收益还能延伸到纯文本空间推理任务（如定位、导航和符号规划），同时不损害整体语言性能。
该论文将 N 选优采样建模为正确响应与错误响应的极端奖励尾部之间的竞争，利用极值理论刻画了三种渐近机制并推导了有限样本缩放定律，解释了奖励投机导致的性能退化，并提出轻量级尾部张力准则来判断额外采样何时有害。
康考迪亚大学和 Mila 的研究人员在一个词元统计服从齐普夫分布、具有瓶颈约束的二元语言模型中，推导出了预测遗憾的精确缩放定律，将容量驱动的缩放行为与优化效应分离开来，并在 WikiText2 和 OpenWebText 上验证了理论预测与实验结果的一致性。
哈佛大学研究人员提出了一种关于规模泛化的统计学习理论，证明了域内学习与跨规模学习在样本复杂度上存在指数级差距，并给出了与维度无关的缩放定律及与之匹配的极小极大下界。
该论文提出了一种自动生成多样室内布局和快速开源近似光线追踪器的流程，用128M合成样本预训练ResNet-101和Swin-T编码器-解码器，微调后在五个室内无线电地图预测任务上平均降低15%误差，并展示了可预测的数据缩放规律。
YerevaNN 的研究人员表明，在图像自蒸馏中，样本重复的效果取决于数据集，并可能违背标准缩放定律的假设——在相同计算量下，Maxar 中随机抽取的 1.5% 子集甚至优于完整的 5000 万张图像池——并提出了一种修正的 Chinchilla 式缩放定律，将独立样本数量和重复次数纳入考量。
斯坦福大学新开设 CS 312「Deep Learning Alchemy」课程，由 Tatsunori Hashimoto 和 Suhas Kotha 主讲，聚焦深度学习中以经验为主的知识——超参数缩放、优化器不变性（μP、Muon）、损失景观与训练稳定性等，全部作业代码、测验和讲义公开，可视为 CS 336 的续作。
本文提出了 COUNT（Counting Offline Unlocks N-gram Transformers），该方法利用存储在主机内存中的预计算计数来构建 N-gram 嵌入，无需可学习参数，从而改善了十亿参数级语言模型的验证损失，并实现了推理时的免训练领域适配。
提出ShellElastic，一种将隐藏维度组织为稠密核心与递增外壳的弹性Transformer架构，使单次全宽前向即可同时包含所有子网络的精确隐藏状态；并引入μE扩展最大化更新参数化（μP），保证子网络在超网络加宽或增加外壳时仍被最大化更新且超参数可迁移，性能优于MatFormer等弹性基线并逼近分别训练的模型。
多流注意力残差（Multi-Stream Attention Residuals, MSAR）将注意力残差（AttnRes）从单流扩展为多头深度注意力，通过多尺度因果卷积引入流多样性，在 18B/28B MoE 规模的 12 项下游基准上一致优于标准残差、mHC 和 AttnRes；scaling law 实验显示，相对标准残差基线有 1.58 倍的 iso-loss 算力加速。
RoboJEPA 基于 JEPA 架构，在涵盖 12 种机器人具身的大型真实机器人数据集上训练，首次为多具身机器人世界模型建立了 scaling law：其 latent rollout 的"想象力误差"随计算量呈二阶幂律变化，并可作为真实机器人规划性能的可靠代理。该模型参数量达 8B，是迄今最大的 JEPA 预测模型，支持零样本部署为长时程规划的机器人智能体，并开源全部检查点与训练/部署代码。
Banbury Road 揭晓 Kardashev-0.7：一个由 32 个各具特色的模型组成的群体，通过强化学习联合训练，以追求 **Population Scaling（群体扩展）**。该项目将模型数量与协作本身视作一条全新的扩展轴线，借此走向互补式的专业化分工。