两条AI指标分道扬镳：会产生天壤之别吗？

# 两种AI指标的分叉：这将带来根本性不同吗？  
来源：https://arxiv.org/html/2607.00913  

###### 摘要  
随着指数级计算规模的持续扩大，前沿AI模型的能力是否会超越在固定小预算下开发者所能触及的范围？还是能力会趋于收敛，“温顺模型将继承地球”？基于Gundlach等人（2025b）(https://arxiv.org/html/2607.00913#bib.bib7)的研究，我们表明答案取决于我们如何衡量和评价AI能力。我们讨论了传统的性能衡量指标，并指出，虽然验证损失显示出不断缩小的差距，但在其他指标上，前沿模型会永远拉大领先优势。通过根据性能指标与训练（和推理）计算之间的函数形式对其进行分类，我们给出了严格数学条件，用以判断哪些指标有利于温顺模型，并证明有界性能指标总是如此。但仔细解读性能指标至关重要：我们表明，许多常见的有界指标都有紧密相关的无界对应指标（反之亦然）。确定某一领域的恰当指标是政策制定的前提，因为有界和无界指标可能指向相反的政策回应。如果某一特定能力——例如软件工程、合成生物学或修辞说服力——在我们所关心的衡量维度上无界，那么前沿水平的能力很可能集中在少数富裕行为者手中。相反，如果该能力反而有界，那么前沿水平的能力将通过温顺模型扩散到众多行为者手中。  

机器学习、扩展定律、计算、基准测试、时间跨度  

## 1 引言  

### 1.1 背景  
当AI模型使用更多计算进行训练时，其能力会提升，这通过（例如）验证损失来衡量（Kaplan等人，2020 (https://arxiv.org/html/2607.00913#bib.bib34)；Rosenfeld，2021 (https://arxiv.org/html/2607.00913#bib.bib32)；Hoffmann等人，2022 (https://arxiv.org/html/2607.00913#bib.bib35)；Bahri等人，2024 (https://arxiv.org/html/2607.00913#bib.bib33)）。类似地，当AI模型被允许花更长时间进行推理——即在推理时使用更多计算——其能力也会提升，这通过（例如）基准测试任务的成功率来衡量（Jones，2021 (https://arxiv.org/html/2607.00913#bib.bib2)；Villalobos和Atkinson，2023a (https://arxiv.org/html/2607.00913#bib.bib55)）。由于这些规律性，企业持续以指数级增长投入预训练和推理的计算资源（Sevilla等人，2022 (https://arxiv.org/html/2607.00913#bib.bib36)；Juniewicz，2026 (https://arxiv.org/html/2607.00913#bib.bib72)）。这些巨额投入使得少数几家公司能够提供比其他地方更强大的AI能力。但这种寡头垄断均衡是必然的吗？规模更小、更便宜的开源权重模型提供商往往能够以很短的延迟——通常不到一年——复制昂贵专有模型的能力（Cottier等人，2024 (https://arxiv.org/html/2607.00913#bib.bib54)；Emberson，2025 (https://arxiv.org/html/2607.00913#bib.bib21)）。如果能力差距没有扩大反而缩小，我们可能会期待前沿水平的能力非常广泛地扩散。在这样一个世界里，监管AI能力可能需要许多行为者的合规，或者需要在硬件层面强制执行监管——而这需要全新的技术手段和政治意愿（O’Gara等人，2025 (https://arxiv.org/html/2607.00913#bib.bib27)）。考虑到监管的相关性，了解昂贵专有模型与更便宜开源模型之间的能力差距是会缩小还是扩大将非常有价值。然而，实证文献稀少、模糊且——正如我们将看到的——对个人在不同能力范围上的效用函数非常敏感（Emberson，2025 (https://arxiv.org/html/2607.00913#bib.bib21)；AI Index Steering Committee，2025 (https://arxiv.org/html/2607.00913#bib.bib22)；Ihle，2025 (https://arxiv.org/html/2607.00913#bib.bib20)）。在此背景下，Gundlach等人（2025b）(https://arxiv.org/html/2607.00913#bib.bib7)的一篇近期论文提供了一个理论论证，表明差距可能缩小。作者（也是本文的作者）比较了训练计算投入呈指数级增长的模型与所谓“温顺”模型（即训练计算投入保持恒定的模型）的性能。两种模型都受益于硬件和算法效率的指数级提升（温顺模型的有效计算量会增长，即使其计算投入不增长），但温顺模型遵循较慢的指数增长率。作者表明，在几个常见性能指标上——验证损失、S形基准测试——温顺模型和前沿模型的性能在长期内会收敛。他们分析了几种具体能力，但长期属性并不依赖于具体领域，只依赖于计算如何转化为性能的函数形式。其基本直觉是，两种模型在增加有效计算量时，都以不同速度遍历一个根本上有界的性能指标：虽然前沿模型更早接近边界，但最终两种模型都会进入指标随时间变化不大（或在某些情况下根本不变化）的区域。  

### 1.2 能力与指标  
正如我们将要展示的，这一结果对所分析的性能指标的具体数学性质非常敏感。这引发了一个问题：在机器学习中，用于测量表面上相似能力的两个指标，其相对于计算的函数形式往往大相径庭。指标通常是为了准确捕捉某个领域中模型的序数排名而选择的，并且通常不要求模型的基数性能水平捕捉到特别有意义的东西。如果我们的目标是以有意义的单位对性能差距下结论，这就成了一个难题——如果我们要这样做，就需要使用一个能反映在某个领域中能力提升如何被评价的性能指标。作为模型能力函数的效用可能是高度非线性的，而所选性能指标的行为需要考虑这种非线性，如果它想对性能差距或指标的其他基数属性作出有意义的主张的话。在本文中，我们表明一些性能指标是“温顺指标”，而另一些是“强力指标”。“温顺指标”是指那些使“温顺模型继承地球”的指标——即，在指数级发散的算力支出下，最终模型性能会收敛。相反，“强力指标”不会收敛。我们证明，如果一个指标有界，那么它就是温顺的。关键的是，我们还表明，对模型能力的效用函数111注：关于术语：“效用函数”指的是任何用于评估特定能力提升对某个现实目标有多重要的函数。效用函数可能在行为者、任务和领域之间有所不同。的细微差异可能产生从无界变为有界、从强力变为温顺、从对指数级投资差距敏感变为（在长期内）完全不受其影响的指标。考虑两个使用编码Agent的软件工程师的情况。第一位工程师需要在定期的任务间隔（例如每几小时人类工作时间）内简要验证生成的代码，并旨在提高该间隔内的准确率；第二位工程师则旨在最大化在某种合理误差容忍度内可以完成的任务长度。两位工程师都偏好能力不断提升的模型，但他们的效用函数产生了截然不同的现实偏好。第一位工程师的效用函数是有界的（因为存在一个最大成功率100%）。因此，随着时间的推移，第一位工程师会发现，用指数级更多计算训练的模型与仅利用算法和硬件共享改进的模型之间的差异越来越小。相比之下，第二位工程师会看到，越来越大的模型在其指标上带来持续改进。  

### 1.3 贡献  
当看到有关某个领域性能收敛或发散的实证主张时，重要的是要理解结果可能是由性能指标的选择所强加的。AI分析师、经济学家或政策制定者的任务就是判断该指标是否恰当。在我们关心的指标上，理解模型能力的长期行为是很有用的。根据下面我们对指标的讨论，我们的预期是，我们将看到温顺模型继承世界的某些部分，而强力模型主导其他领域。在某些领域集中，在另一些领域扩散。本文的其余部分结构如下：我们总结了Gundlach等人（2025b）(https://arxiv.org/html/2607.00913#bib.bib7)的贡献；定义了“温顺指标”并描述了赋予其温顺状态的边界条件（第2节 (https://arxiv.org/html/2607.00913#S2)）；调查了常见的性能指标并讨论了其对解释的敏感性（第3节 (https://arxiv.org/html/2607.00913#S3)）；讨论了如何将框架推广到推理计算的模型差距（第4节 (https://arxiv.org/html/2607.00913#S4)）；最后通过讨论局限性、复杂性以及对社会的意义进行总结（第5节 (https://arxiv.org/html/2607.00913#S5)）。  

## 2 核心数学定义与结果  

### 2.1 温顺模型论证  
我们的目标是概括Gundlach等人（2025b）(https://arxiv.org/html/2607.00913#bib.bib7)中的论证，该论证分析了所谓温顺模型和前沿模型在验证损失上的理论差异。由于验证损失是有效训练计算的幂律，我们可以解析地观察到差异的闭合形式为：  
$\Delta L = A (C_{\text{meek}})^{-\alpha} - A (C_{\text{frontier}})^{-\alpha}$  
在这个上下文中，$0 < \alpha < 1$ 且 $A$ 是控制幂律的参数，$C$ 是有效训练计算：原始训练计算缩放乘以来自算法/数据进步 (https://arxiv.org/html/2607.00913#bib.bib35) 和硬件效率进步 (https://arxiv.org/html/2607.00913#bib.bib36) 的共享指数增长因子。虽然前沿模型和温顺模型都看到有效训练计算呈指数增长，但前沿模型具有更快的指数增长，因为它们随时间在原始训练计算投入上也呈指数增长。更具体地说，令 $g_h$ 为硬件效率（每美元FLOPs）的共享年增长率；$g_a$ 为算法和数据进步的共享年增长率；$g_i$ 仅为前沿模型的训练计算缩放的年增长率；$C_0$ 为某个初始有效计算量。那么损失差异得出两个衰减指数的差，在一次性峰值后迅速趋近于零：  
$\Delta L = A [(g_a g_h)^t C_0]^{-\alpha} - A [(g_i g_a g_h)^t C_0]^{-\alpha}$  
然而，正如我们在第3.1.1节 (https://arxiv.org/html/2607.00913#S3.SS1.SSS1) 讨论的，损失可能是一个不透明的性能衡量指标；如何将损失转化为效用并不明显。因此我们问：这个论证何时能推广到其他性能指标？  

### 2.2 “温顺指标”的广义概念  
我们简要介绍一组定义和结果，以便直接对性能指标进行分类。证明见附录A (https://arxiv.org/html/2607.00913#A1)。  

###### 定义 2.1（正常性能指标）。  
如果一个将训练计算映射到性能的函数 $P: \mathbb{R}^+ \rightarrow \mathbb{R}$ 既是可微的又是弱单调递增的，我们称其为正常性能指标。这些标准是自然的：(1) 性能增长通常在计算上是平滑的，即使性能表现出急剧跃迁，这种转变仍然是平滑的 (Power等人，2022 (https://arxiv.org/html/2607.00913#bib.bib8))；(2) 尽管添加计算可能会降低性能（例如过拟合），但由于我们只要求弱单调性，任何性能下降的模型都可以简单地被丢弃，转而使用之前的、更好的模型。请注意，此处以及全文谈及的“指标”不仅仅指评估性能的特定方式（例如某个基准测试），而是指描述实际或预测的评估性能如何随计算变化的曲线。  

###### 定义 2.2（温顺指标）。  
令 $P: \mathbb{R}^+ \rightarrow \mathbb{R}$。如果 $P$ 是一个正常性能指标，并且对于所有指数对 $b > a > 1$ 以及所有训练计算初始值 $C_0 > 0$，以下极限成立：  
$\lim_{t \rightarrow \infty} P(b^t C_0) - P(a^t C_0) = 0$，  
那么我们称 $P$ 在指数缩放意义下是温顺指标。  
直观上，$P$ 对有效训练计算的指数差异不变，其中 $a$ 来自硬件/算法效率，$b$ 加上投资的指数级增长。给定某个初始训练计算投入 $C_0$，两个有效训练计算增长存在指数差异的行为者，在长期内将在性能上看不到持久差异。  

###### 定义 2.3（强力指标）。  
如果一个指标是正常性能指标且不是温顺的，则它是强力的。即，如果 $P$ 是正常性能指标但 $\lim_{t \rightarrow \infty} P(b^t C_0) - P(a^t C_0) > 0$，那么 $P$ 是强力的。注意，强力指标并不必然表现出前沿模型与温顺模型性能之间的发散。可能存在持续的能力差距，例如（见定理2.5 (https://arxiv.org/html/2607.00913#S2.Thmtheorem5)）。  

### 2.3 结果  
我们现在给出两个结果，用于对正常性能指标的空间进行分类。我们从常见且方便的特例——有界性能指标——开始。  

###### 定理 2.4。  
如果 $P$ 是一个有上界的正常性能指标，则 $P$ 是温顺指标。  
虽然这一结果直接由单调收敛定理222单调收敛定理断言：有上界的单调实值函数必然收敛到其最小上界。推出，但考虑到确实有大量性能指标是有界的，它在实践中很有用。例如，Gundlach等人（2025b）(https://arxiv.org/html/2607.00913#bib.bib7) 的原始结果可以直接作为推论得出。对于更广泛的无界正常性能指标类，我们有如下刻画。  

###### 定理 2.5。  
令 $P$ 是一个无上界的正常性能指标。此外，假设 $P$ 关于 $\log \log C$ 的导数最终是单调的。那么 $P$ 是温顺指标当且仅当  
$\lim_{C \rightarrow \infty} \frac{P(C)}{\log \log C} = 0$。  
直观上，此边界成立的原因是：对输入 $b^t C_0$ 和 $a^t C_0$ 应用一次对数后，仍然得到两个显著增长的量：$(t \log b + \log C_0)$ 和 $(t \log a + \log C_0)$。然而它们的比率显然趋近于 $\log b / \log a$，因此再应用一次对数后，极限趋近于常数 $\log(\frac{\log b}{\log a}) = \log \log b - \log \log a$。因此，在极限情况下，函数 $P(C) = \log \log (C)$ 的行为是...