scaling-laws

在Sequoia AI Ascent演讲中，Jim Fan博士提出了与LLM成功相平行的实现Physical AGI路线图，介绍了视频世界模型、World Action Models (WAM) 和 Dexterity Scaling Law 等概念，并分享了对近期未来的预测。

Yann LeCun的团队发布了LeWorldModel，一个仅有1500万参数的物理模型，在单张GPU上训练数小时，在规划速度和物理合理性上超越了价值数十亿美元的基础模型，挑战了主流的规模扩展范式。

本文介绍了 ScaleLogic 框架，该框架证明了强化学习的训练计算资源消耗遵循与大型语言模型推理深度相关的幂律分布。文章强调，逻辑表达力对于提升下游迁移能力和训练效率至关重要。

一种考虑数据重复效应的修正缩放定律，为数据受限场景提供了计算最优的训练策略，表明超出某一界限后，进一步重复会适得其反，计算资源应更明智地用于模型容量。

本文提出隐性课程假设，证明语言模型预训练遵循一个结构化的、组合性的课程，其中能力跨架构一致涌现，并可从内部表示预测。作者通过设计涵盖检索、形态学、共指消解、推理和数学的任务进行验证，发现四个模型族中涌现顺序高度一致（ρ=0.81）。

隆重推出 Muse Spark，这是一项旨在实现个人超级智能扩展的新人工智能计划。

Google 和 DeepMind 推出 VaultGemma，这是一个 1B 参数的开源语言模型，采用差分隐私技术进行训练，并配备了新的缩放律研究，该研究刻画了差分隐私大型语言模型训练中计算、隐私和效用之间的权衡关系。

OpenAI 研究人员通过实验研究了奖励模型过度优化对性能的影响，建立了标度律来说明代理奖励优化与真实性能之间的关系如何随优化方法变化，并与模型规模成可预测的关系。

基础性实证研究，展示了语言模型性能与模型规模、数据集大小和计算预算之间的幂律缩放关系，对最优训练资源分配和样本效率有重要启示。

OpenAI 发布分析表明，自 2012 年以来，最大规模 AI 训练运行所使用的计算量以 3.4 个月的倍增周期呈指数级增长，累计增长 30 万倍，远远超过摩尔定律的增长速度。该分析预测这一趋势可能会继续，并呼吁增加学术 AI 研究经费以应对不断上升的计算成本。