令人印象深刻的新论文，来自 Meta。（收藏一下）标度定律假设模型规模与训练数据对损失的影响是独立的。这项工作引入了 Skaling 定律，通过单一交互指数将容量与数据耦合起来。这个额外项在插值和外推场景下将平均绝对百分比误差降低了 1.5 倍到 3 倍。最大修正出现在数据稀缺和重度过训练区间，而标准 Chinchilla 与 Kaplan 形式正是在这些区间发生偏移。配合一个仅限低计算量运行的稀疏网格，它可以用比均匀扫描少约 10 倍的计算量外推出完整网格。为什么这很重要？部署现在已经远远超过计算最优状态。一个在那种状态下依然准确、并且能从小型运行中拟合出来的定律，会改变预训练预算的规划方式。论文：https://arxiv.org/abs/2608.07222 在我们的 academy 中追踪更多热门 AI 论文：https://academy.dair.ai

Skaling：当 Chinchilla 的指数遇上 Kaplan 的耦合

来源：https://arxiv.org/html/2608.07222

1] FAIR at Meta（2026年8月7日）

摘要

神经标度定律是语言模型开发的基础，然而标准公式在数据稀缺和过训练的极端情况下会系统性地低估和高估损失。这一失败源于其潜在假设：模型规模和训练数据对损失的影响是独立的。为解决此问题，我们引入了 Skaling 定律（读音 /ˈskeɪlɪŋ/），一种广义函数形式，通过单一交互指数将模型容量与数据耦合起来。这一简单扩展将插值与外推两种场景下的平均绝对百分比误差（MAPE）降低了 1.5 到 3 倍。当与限制在低计算量区间的稀疏网格策略配合使用时，Skaling 定律能以约为均匀扫描 10 分之一的计算量实现准确的完整网格外推。通过从小规模实验实现可靠的性能预测，Skaling 定律为下一代模型训练中的计算预算分配提供了一个更稳健、更资源高效的框架。

通讯作者：Mathurin Videau（见图注）

图 1：加法 Chinchilla 定律带有一种系统性的、集中在边界处的预测偏差，而 Skaling 定律消除了这种偏差。每个标记都是一个经过训练的 (N,D) 配置（模型规模 N 为横轴，训练 token 数 D 为纵轴）。*左、中：*拟合的 Chinchilla 与 Skaling 定律的带符号百分比误差（正 = 高估（红色），负 = 低估（蓝色），共享色条）；Chinchilla 显示出向角落增大的鞍形残差，而 Skaling 在整个网格中始终接近零。*右：*每条运行中两个定律误差的比值（上限为 16×；红色表示 Skaling 精确 x 倍的运行）。Skaling 在 76% 的配置上胜出（中位数 2.2×，其中三分之一达到 ≥4×），最大增益出现在更便宜的边缘区域。

1 引言

现代大型语言模型（LLM）的成功依赖于它们在训练数据和模型规模扩展时展现出可预测且一致的提升。这一性质被神经标度定律（Kaplan et al., 2020 (https://arxiv.org/html/2608.07222#bib.bib8); Hoffmann et al., 2022 (https://arxiv.org/html/2608.07222#bib.bib7); Bi et al., 2024 (https://arxiv.org/html/2608.07222#bib.bib3)）正式化，这些定律仅用少量低计算量模型就能预测高计算量运行的性能。在这些经验定律的指导下，研究人员可以自信地优化关于预训练预算、架构维度和资源分配的关键决策。

尽管被广泛采用，标准标度公式存在结构性缺陷（Li et al., 2025a (https://arxiv.org/html/2608.07222#bib.bib10); Ardalani et al., 2026 (https://arxiv.org/html/2608.07222#bib.bib1)）。虽然最初的 Kaplan 形式（Kaplan et al., 2020 (https://arxiv.org/html/2608.07222#bib.bib8)）将模型规模和数据耦合在一起，但被广泛使用的 Chinchilla 定律（Hoffmann et al., 2022 (https://arxiv.org/html/2608.07222#bib.bib7)）将可约损失建模为模型规模与训练 token 两个独立项的和。这种数学结构意味着两个变量之间严格独立，人为地强制交叉导数为零。然而，早期分析（图 1）显示，Chinchilla 在网格内部准确，但在靠近角点处会产生方向相反的大误差，在 N 和 D 最不平衡的地方达到几个百分点。这正是省略 N–D 交互时所预期的鞍形残差。此外，我们对损失梯度的实证分析揭示了这些维度之间存在交互（第 2 节）。由于忽略了这种耦合，加法标度模型在训练网格边界处会系统性地低估和高估损失。

为解决这个问题，我们提出了 Skaling 定律，它是 Chinchilla 形式的最小推广，在模型规模与数据量之间引入一个耦合指数，恢复了被加法 Chinchilla 定律丢弃的 Kaplan 式交互。尽管只增加了一个参数，Skaling 定律在多种交叉验证策略下将外推 MAPE 相对于 Chinchilla 降低了 1.5 到 3 倍。我们进一步表明，这种改进的函数形式支持一种高效的“L 形”性能剖析策略。通过将训练限制在计算网格中更便宜的边缘——对小模型扫描数据量（改变训练 token 数 D，称为 D 带）并在少量固定数据上扫描模型规模（改变模型规模 N，称为 N 带）——Skaling 定律能够达到与在全网格上拟合的 Chinchilla 相当的预测精度，同时所需计算量最多减少 10 倍。这些贡献共同为实验预算受限下的标度决策提供了一个实用且基础扎实的框架。

贡献

1. C1. Skaling：一种耦合标度形式。我们在模型规模与数据量之间引入一个交互指数，修正了加法定律的边界偏差（第 3.1 节）。
2. C2. 稀疏剖析网格。我们证明 Skaling 定律在一种更有效的采样方案下仍能保持预测精度，支持将性能剖析计算量减少约 10 倍的“L 形”网格，同时保持精度（第 3.2 节）。

图 2：Farseer 上的一阶导数结构（公式 1；MLS 估计，双对数轴；色条显示交叉变量的影响）。*上：*同变量投影，\ln|\partial L/\partial N| 对 \ln N（a）以及 \ln|\partial L/\partial D| 对 \ln D（b），其线性趋势表明幂律衰减（\alpha_N,\alpha_D）。*下：*交叉变量投影，\ln|\partial L/\partial N| 对 \ln D（c）以及 \ln|\partial L/\partial D| 对 \ln N（d）；主要结构是由同变量依赖引起的水平条带，而交叉斜率 \gamma_N,\gamma_D 仍然很小。

2 损失曲面将模型规模与数据耦合

在确定函数形式之前，我们直接询问数据：模型规模与训练数据是否存在交互。我们通过导数来探查损失曲面，导数使用移动最小二乘（MLS）估计器（Lancaster and Salkauskas, 1981 (https://arxiv.org/html/2608.07222#bib.bib9)）估计（见第 7.1 节描述）；由于网格是对数间隔的，MLS 返回对数斜率，我们将其转换为真实空间导数：

\frac{\partial L}{\partial N}=\frac{L}{N}\frac{\partial\ln L}{\partial\ln N},\qquad \frac{\partial L}{\partial D}=\frac{L}{D}\frac{\partial\ln L}{\partial\ln D},

这去除了不可约误差 E，并分离出可约损失的结构。

我们首先用对数线性诊断来总结一阶结构：

\ln\left|\frac{\partial L}{\partial N}\right|=\alpha_N,\ln N+\gamma_N,\ln D+c_N,\qquad \ln\left|\frac{\partial L}{\partial D}\right|=\gamma_D,\ln N+\alpha_D,\ln D+c_D, (1)

其中 \alpha_N, \alpha_D 捕捉主要的同变量衰减，\gamma_N, \gamma_D 是另一轴上的残余依赖；我们仅将其用作诊断，而非标度定律。

图 2(a,b) 显示同变量投影接近线性，\alpha_N\approx\alpha_D\approx-1.3，因此边际导数大致按幂律衰减。交叉斜率很小，\gamma_N\approx 0.13，\gamma_D\approx 0.07，因此一阶上曲面看起来几乎可分离；但仅凭一阶投影无法排除较弱的交互。

混合导数是决定性的检验。任何加法定律 L=f(N)+g(D)+E 都恒等地满足 \partial^2L/\partial N\partial D=0，无论 f 和 g 选择何种幂律。图 3 显示估计的混合导数在整个网格上非零，并且有自身的幂律衰减：

\ln\left|\frac{\partial^2L}{\partial N,\partial D}\right|=a,\ln N+b,\ln D+c, (2)

其中 a\approx b\approx-1.1，且主要符号为负：同时增大 N 和 D 比单独增大任何一个都能更大程度地降低损失，这是加法定律无法表示的协同效应。这促使我们用一个耦合指数取代 Chinchilla 的加法求和，即下面引入的 Skaling 形式；第 7.2 节表明该形式能同时重现负的混合导数和小的、不对称的一阶斜率，并说明为什么乘法耦合优于加法交互项。

图 3：交叉导数 |\partial^2L/\partial N\partial D|（来自局部二次拟合的二阶项，对数刻度），用于检验公式 2。(a) 对 \ln N 的依赖，按 D 着色。(b) 对 \ln D 的依赖，按 N 着色。加法定律预测 \partial^2L/\partial N\partial D=0；而估计值在整个网格上均非零。

3 方法

3.1 Skaling 形式

两种函数形式主导了标度定律文献，主要区别在于模型规模与数据如何组合。被广泛使用的 Chinchilla 定律（Hoffmann et al., 2022 (https://arxiv.org/html/2608.07222#bib.bib7)）将二者完全解耦：它对两个项求和，每项有独立的内指数 \alpha 和 \beta，并带一个自由的不可约常数 E。这种纯加法结构虽然在数学上方便，但强制交叉导数 \partial^2L/\partial N\partial D 恒为零，隐式地假设 N 和 D 不交互。较早的 Kaplan 形式（Kaplan et al., 2020 (https://arxiv.org/html/2608.07222#bib.bib8)）采取相反做法：

L(N,D)=\bigl[(N_{c}/N)^{\alpha_{N}/\alpha_{D}}+D_{c}/D\bigr]^{\alpha_{D}}

这里外指数 \alpha_{D} 扮演 Skaling 中 k 的角色，但 Kaplan 还通过比值 \alpha_{N}/\alpha_{D} 将内项联系起来，因此它们各自的轴衰减率不再独立。

Skaling 桥接了这两种范式。它保留 Chinchilla 可解释的基础项和独立的内指数，但效仿 Kaplan，将它们的和提升到单个自由外指数 k：

L(N,D)=\left(\frac{A}{N^{\alpha}}+\frac{B}{D^{\beta}}\right)^k+E (3)

这单个参数在两种既有形式之间插值。当 k=1 时，Skaling 定律退化为纯加法的 Chinchilla 定律。对任何 k\neq 1，它恢复 Kaplan 式耦合和非零交叉导数。关键在于，与 Kaplan 不同，Skaling 定律通过外指数 k 实现耦合，同时保留 Chinchilla 的独立内指数。

尽管增加了灵活性，Skaling 定律仍保留加法定律的两个理想性质。首先，因为 k>0，函数对 N 和 D 都严格递减：增加模型容量或训练数据永远不会使预测损失增加。其次，它保留了 Chinchilla 的结构。指数 k