论大型语言模型缩放指数的微小性

# 论大语言模型缩放指数之微小性

**来源：** https://arxiv.org/html/2606.24504

Sauro Succi¹'², Peter V. Coveney³ and Alex Hansen²

¹意大利技术研究院，Viale Regina Elena, 291, 00161, 罗马，意大利  
²PoreLab，物理系，挪威科技大学，7491 特隆赫姆，挪威  
³计算科学中心，化学系，伦敦大学学院，20 Gordon Street, WC1H 0AJ，伦敦，英国  

###### 摘要

我们讨论了当前大语言模型（LLMs）应用在能量资源方面呈现出不可持续状态的缩放指数的原因。我们进一步指出，将这种微小性归因于因忽略数据无限极限下损失函数非零值（"基座效应"）而产生的数值偏差，并不能消除不可持续性问题。最后，基于与流体湍流现象学模型的类比，我们评述了数据光滑性（粗糙性）对缩放指数的影响。

## 1 引言

近年来，人工智能，尤其是基于 Transformer 的大语言模型（LLM），席卷了科学界和社会[1 (https://arxiv.org/html/2606.24504#bib.bib1),2 (https://arxiv.org/html/2606.24504#bib.bib2),3 (https://arxiv.org/html/2606.24504#bib.bib3)]。这种爆炸性增长很大程度上源于"无墙"发现，即基于 LLM 的聊天机器人的学习能力随规模增加而持续提升，由此产生了"越大越好"的口号，推动了当前领先的 LLM 研究。我们在此回顾"无墙"发现背后的主要思想。

LLM 的缩放定律通常表示为：

\[L(N) = A/N^{\alpha},\]  (1)

其中 \(L\) 是损失函数，用于衡量 LLM 输出与预期目标之间的偏差；\(N\) 分别代表数据量 (\(D\))、参数数量 (\(P\)) 和计算成本 (\(C\))，每个量都有各自的常数前因子 \(A\) 和指数 \(\alpha\)[4 (https://arxiv.org/html/2606.24504#bib.bib4),5 (https://arxiv.org/html/2606.24504#bib.bib5)]。指数为正值表明损失函数随数据规模增加而减小，因此使用更大的数据集能更接近预期目标。形式上，所谓的"墙"对应相反的情况，即更多数据导致模型与目标之间的偏差更大，这由负指数体现。迄今为止，LLM 的指数在多个数量级上一直保持正值，因此引发了"没有墙"的热烈断言，支持了追求更大（且更耗能）LLM 应用的策略[6 (https://arxiv.org/html/2606.24504#bib.bib6)]。

尽管从科学角度看这一成就极为显著，但许多研究人员观察到，LLM 的缩放指数非常小，通常在 \(0.05 \div 0.10\) 范围内，表明预训练 LLM 进入了"收益递减"阶段。在最近的一篇论文中，本文的两位作者指出了"收益递减"在实际中的真实含义：指数为 \(0.1\) 意味着将损失函数降低一半需要 \(2^{10}=1024\) 倍的资源[7 (https://arxiv.org/html/2606.24504#bib.bib7)]。因此，尽管形式上无墙，但这种状态实际上是不可持续的，故而需要新的方向，更多地关注物理洞察和与世界模型的一致性，而非单纯依赖参数数量的肌肉式杠杆效应[8 (https://arxiv.org/html/2606.24504#bib.bib8),9 (https://arxiv.org/html/2606.24504#bib.bib9),10 (https://arxiv.org/html/2606.24504#bib.bib10),11 (https://arxiv.org/html/2606.24504#bib.bib11)]。在这一简单观察引发的诸多批评性反馈中，一个反复出现的观点是：损失函数不能与数值离散误差相类比，原因在于机器学习过程并不必然追求将损失函数降至零，而是通常在该极限逼近之前就停止（通常是为了防止过拟合以及随之而来的泛化问题——即复现未见目标的能力）[3 (https://arxiv.org/html/2606.24504#bib.bib3)]。在下文中，我们将论证，这种批评并不能改变关于 LLM 缩放指数不可持续的结论。

## 2 损失函数作为精度的伪度量

使用 \(N\) 个自由度（例如 PDE 的网格离散）的数值方法所对应的近似误差，通常遵循渐近标度关系：

\[E(N) = A/N^{a},\]  (2)

其中 \(a>0\) 是精度阶数，\(A\) 是衡量"临界"规模 \(N_c = A^{1/a}\)（误差在此规模之上开始呈现幂律衰减）的前因子。大多数网格方法围绕 \(a=2\) 工作，而随机粒子方法（如蒙特卡洛）则具有 \(a \sim 1/2\)。注意，\(a=2\) 意味着将误差降低 2 倍仅需 \(\sqrt{2}\) 倍的资源（\(N\)），而 \(a=1/2\) 时这一数字是 4，通常被认为收敛缓慢。

上述关系体现了任何适定数值格式的一个基本要求，称为"一致性"：当 \(N \to \infty\) 时，误差应趋于零，从而复现原始目标（通常是连续微分方程的解析解）。任何非零的 \(E_{\infty} \equiv E(N \to \infty)\)（"基座"），或者更糟糕的、随分辨率提高而增加的误差（"墙"），都被视为异常现象，通常由数值离散的某种不适定性引起，典型情况是离散格式破坏了基本的连续对称性。

上述关系与 LLM 缩放定律存在直接类比[4 (https://arxiv.org/html/2606.24504#bib.bib4)]，由此得出简单结论：指数 \(\alpha = 0.1\) 是不可持续的。声称这种类比有缺陷，因为机器学习实践并不关心 \(N \to \infty\) 时 \(L \to 0\) 的极限，这无异于说一致性（任何适定数值方法的首要要求）与作为科学学科的机器学习无关。虽然不难理解人们可能满足于损失函数"足够小"（所谓的早停经验实践）的原因，但不可否认的是，用模糊的"足够小"标准取代一致性，在方法论作为系统科学方法的可靠性方面，留下了很多值得商榷之处。这一点尤其体现在泛化到未见数据的能力上，而泛化能力正是真正学习的本质，区别于对训练数据的单纯记忆。

然而，确实，匹配给定数据集并不等同于复现连续 PDE 的解，因此让我们接受损失函数作为一种经验性的伪度量，无需符合一致性要求。在下文中，我们将论证，即便这种"宽松视角"也不影响[7 (https://arxiv.org/html/2606.24504#bib.bib7)]中关于不可持续性的论断。关键不再是一致性，而是效率，即误差随资源增加而下降的速度，这恰恰由缩放指数的实际值决定。

## 3 基座效应

最近，一组作者[12 (https://arxiv.org/html/2606.24504#bib.bib12)]基于所谓的 Chinchilla 缩放[13 (https://arxiv.org/html/2606.24504#bib.bib13)]，论证了 Anthropic 及其后续工作所发表的 LLM 缩放指数存在"偏差"，原因在于忽略了缩放定律中的"基座"，即损失函数在"连续极限" \(N \to \infty\) 时并不趋于零。为了理解这一点，我们首先将损失函数写成如下形式：

\[L(x) = L_0 + (L_1 - L_0) x^{\alpha},\]  (3)

其中为了方便定义 \(x \equiv 1/N\)，因此 \(L_0 = L(x=0)\) 是连续极限，\(L_1 = L(x=1)\) 是大规模极限 \(N=1\)。注意，\(\alpha > 0\) 表示"无墙"状态，此时 \(L\) 随 \(x = 1/N\) 增长。显然，基座 \(L_0\) 引入了它自己的指数 \(\alpha = 0\)，因此与上述关系相关联的"有效"指数必然介于 0 和 \(\alpha\) 之间，过渡的具体形式取决于比值 \(p = L_0 / L_1\)。

为了突出这一点，我们重新标度 \(L \to L / L_1\)，并写成：

\[L(x; p) = p x^{0} + (1-p) x^{\alpha}.\]  (4)

接下来，我们定义与给定基座 \(p\) 相关的"运行"缩放指数：

\[\alpha_p(x) = \frac{x L'(x,p)}{L(x,p)},\]  (5)

其中撇号表示对 \(x\) 的导数。显然，运行指数 \(\alpha_p(x)\) 仅在单指数幂律行为的情况下为常数，具体地，\(\alpha_{p=0}(x) = \alpha\) 且 \(\alpha_{p=1}=0\)。该函数如图 1 所示，针对 Chinchilla 缩放 \(\alpha \equiv \alpha_C \sim 1/3\) 的情况，取 \(p = 0.01, 0.05, 0.1, 0.2\)。该图显示，从 Chinchilla (C) 到 Anthropic (A) 的 \(\alpha \sim 0.05 \div 0.1\) 状态的转变相当急剧，表明不需要极大的数据集就能从"高" (C) 缩放状态过渡到"低" (A) 缩放状态。上述观察突显了基座效应在评估 LLM 缩放性能方面的重要相关性。

![图 1](https://arxiv.org/html/2606.24504/extracted/6110738/fig1.png)
**图 1:** 在 \(\alpha_C = 1/3\)（实水平线）和 \(p = 0.01, 0.05, 0.1, 0.2\)（从右到左，从上到下）情况下，运行缩放指数作为 \(1/N\) 的函数。该图清晰显示，从 \(1/3\) 转变为 A 区域 \(0.05 < \alpha < 0.1\) 发生在远小于最大 LLM 应用规模的尺寸下。因此，基座效应在控制这些应用的缩放特性方面占主导地位。这些值除以 \((1-p)\) 以确保对于任何 \(p\) 值都有 \(\alpha(x=1,p)=1\)。

同样的思想可以表述为引入一个临界阈值 \(x_{\text{crit}}(p)\)，低于该阈值时低指数的 A 状态成为主导。基于表达式 (4)，这种情况发生在条件：

\[p \gg (1-p) x^{\alpha_C},\]

即每当：

\[x \ll x_{\text{crit}}(p) = \left(\frac{p}{1-p}\right)^{1/\alpha_C}.\]  (6)

因此，对于 \(\alpha_C = 1/3\)，并回到规模 \(N\)，我们得到：

\[N \gg N_{\text{crit}}(p) = \left(\frac{1-p}{p}\right)^{3}.\]  (7)

图 2 显示了 C 与 A 状态之间的边界 \(N_{\text{crit}}(p)\) 随 \(p\) 的变化。从该图可以清楚看出，要使 C 状态在大型数据集上成为主导，基座值必须非常小。换言之，通过反转关系 (8)，我们得到：

\[p \ll p_{\text{crit}}(N) = \frac{1}{1 + N^{1/3}} \sim N^{-1/3}.\]  (8)

因此，即使对于 \(N = 10^6\) 的中等规模数据集，我们也已有 \(p_{\text{crit}} \sim 10^{-2}\)。由于大多数 LLM 应用中损失函数在数个数量级的 \(N\) 上仅衰减约半个数量级，基座值远高于 0.01，这表明 Chinchilla 指数与现代 LLM 应用所使用的大型数据集的缩放性能无关。

![图 2](https://arxiv.org/html/2606.24504/extracted/6110738/fig2.png)
**图 2:** C 与 A 缩放区域之间的临界边界 \(N_{\text{crit}}(p) = \left(\frac{1-p}{p}\right)^{3}\) 作为基座 \(p\) 的函数。C 缩放仅在临界边界以下相关，因此仅适用于相对较小的数据集规模，除非基座被设定为不切实际的微小值。

## 4 缩放指数的理论预测

在确定了基座在评估 LLM 有效缩放特性方面的重要性之后，自然的问题是为其值寻求理论解释。一个简单而相当有说服力的解释由 Sharma 和 Kaplan (以下简称 SK) 提出[14 (https://arxiv.org/html/2606.24504#bib.bib14)]，其工作进一步支持了 A 指数作为 LLM 缩放性能恰当度量的相关性。在该论文中，他们提出了一个简单且有说服力的玩具理论（得到实验数据支持），即 LLM 缩放指数服从以下下界：

\[\alpha \sim \frac{4}{d},\]  (9)

其中 \(d\) 是流形的内在维度，即描述大多数数据所在流形所需的独立坐标数目[15 (https://arxiv.org/html/2606.24504#bib.bib15)]。注意，对于许多复杂应用，\(d \ll D\)，其中 \(D\) 是嵌入空间的维度。上述关系因其简洁性、优雅性以及对大量数值数据集的鲁棒性而引人注目。

有几点需要说明。首先，注意 SK 关系适用于具体的 LLM 实践，因此与上述讨论的伪度量视角完全一致。其次，我们回顾一下，在 \(D\) 维空间中，阶数为 \(a\) 的网格离散方法具有指数：

\[\alpha(D) = \frac{a}{D}.\]  (10)

这一点源于一个简单观察：直径为 \(\delta\) 的 \(D\) 维空间区域的体积 \(V(D)\) 按 \(V(D) \sim \delta^D\) 标度，而标准（非自适应）网格离散对 \(D\) 维空间的所有部分都一视同仁，无论它们是否承载任何有趣的信息过程（通常并不承载）。这就是著名的维度诅咒 (Curse of Dimensionality, CoD)[16 (https://arxiv.org/html/2606.24504#bib.bib16)]。第三，表达式 (10) 自然地引出了与 SK 关系的类比，其中 \(D = d\) 且 \(a = 4\)。这意味着 LLM 可以类比于在 \(d\) 维特征空间中采用 \(a=4\) 的自适应网格细化方法。所谓自适应，指的是方法按需放置数值自由度，即将其放在相关信息所在之处，而非置于 \(D\) 维空间区域的各处。这种识别相关的低维流形（计算资源应集中于此处）的能力对于（部分）驯服 CoD 至关重要，这可能是 LLM 研究的主要成就之一。

我们通过重新审视 SK 公式背后的主要思想，并将其与流体湍流的现象学联系起来，进一步阐述上述观点。

## 5 SK 模型与湍流分形的联系

考虑一个边长为 1 的 \(d\) 维立方体，并用边长 \(s\) 的小立方体将其填满，数量为 \(N(s)\)。根据定义，\(N(s) s^d = 1^d = 1\)，因此：

\[N(s) = s^{-d}.\]  (11)

接下来，我们将损失函数定义为单位边长立方体内一个光滑函数 \(f(x)\) 的分段表示 \(f_N(x)\) 的数值误差：

\[L(s) = \int \| f(x) - f_N(x) \|^2 d_d x\]  (12)

由于函数 \(f(x)\) 是光滑的，在超立方体中总存在一个位置 \(x'\)，使得 \(f_N(x) = f(x')\)。因此，基于光滑性，上述积分中的被积函数受限于 \(g s d^{1/2}\)，其中 \(g\) 是一个与 \(f\) 的梯度成正比的常数，\(s d^{1/2}\) 是超立方体的直径。结果，我们得到 \(L(s) \sim g^2 s^2 d\)，即基于 (11)，...