数据的“星门“

实验室正朝着到2030年每年超过1000亿美元的数据支出迈进。当我们启动价值万亿美元的算力项目时，我们需要为另一个核心要素——数据——设想同等规模的文明级工程。

规模扩展革命的基础是一条简单的经验法则：当你按比例扩展两样东西——(1) 模型的大小和 (2) 训练所用的数据量——深度神经网络会近乎神奇地平稳提升。尽管规模扩展定律残酷地呈现收益递减，但我们成功承受了对数级扩展的代价，即使用指数级增长的集群和数据集，并因此获得了令人难以置信的新能力。

但这种指数级扩展注定会遇到瓶颈。奇怪的是，算力一直相当平稳地复合增长，没有上限，数万亿美元涌入超大规模集群建设。相反，我们开始触及对数据指数级需求的极限。过去我们纯粹受限于算力，拥有近乎无限的网络数据却永远缺乏 GPU；如今我们正进入受限于数据的时代。

幸运的是，这种限制与 AI 能力的惊人进步同时发生。难以置信的是，我们似乎确实有一条清晰的路径，可以用现有方法自动化大部分知识工作。强化学习加预训练，以及各自所需的数据，将足以完成大多数具有经济价值的任务，前提是算法有最基本的进步，并且算力继续扩展。

在数据受限的世界里，经济进步和科学加速将直接受制于我们在每个领域的覆盖程度。我们必须将数据收集视为当务之急，赋予它我们给予算力的那种文明级雄心。

互联网作为一次性补贴

人们低估了 AI 的所有进步是如何完全归功于互联网这一恩赐——这是深度学习获得的一次性文明级补贴，几十年来无意间积累的完美数据集：每一本书、博客文章、图片、视频、论文、讨论等等，全部数字化且免费可得。没有互联网，我们今天在 AI 领域可能只会取得微不足道的进步；事实上，如果你注意到系统目前表现不佳的领域，几乎总是那些网络覆盖有限、数据私有、昂贵、未数字化或不存在的领域。

但我们正在耗尽这些数据。有用的公开人类文本大约只有 300 万亿个 token，而互联网产生的高质量新数据远不足以满足规模扩展的需求——我们很快将触及公开预训练数据的极限。尽管强化学习的出现为我们争取了喘息空间——思维链强化学习需要一种新的未开发数据，即可分级的数学与编程任务，这些任务同样可以在线获取——但我们也很快用完了强化学习所需的艰巨任务。

我们到底为什么需要这么多数据？人类学习所需时间相对少得多，只需一本教科书，而语言模型可能需要等效上百本来学习一个新主题。我们可能会发现更高效利用数据的方法——合成数据、高效利用数据的架构、其他新奇算法——但根本性的进步缓慢且高度不可预测，而我们现有的配方在今天确实有效。

而且，尽管我不想过深探讨，但即使是任意高的数据效率也无法替代那些根本不存在的数据。网络上缺失大量信息：互联网的暗物质——隐性知识、未记录流程等等——其中大部分从未公开发表，只存在于组织内部、物理世界中，或者人们的脑海里。我就此打住，简而言之，有太多原因（远超这篇帖子能容纳的篇幅1）让我们最好假定，我们对数据的贪得无厌的需求会像过去十年一样持续下去。

到 2030 年数据支出将超过每年 1000 亿美元

当然，我们还没有完蛋。世界上只有一部分有用数据在公共互联网上，其余存储于私有数据集、企业、个人档案、大学、政府和其他地方。实验室可以并将继续授权这些私有数据集，或者从头创建它们，比如 Anthropic 的书籍扫描项目。我们也将越来越多地让人类专家制造新的高质量数据，大量困难的强化学习训练任务已经通过这种方式获取。

但与以前不同，收集这些数据将是昂贵的。随着免费互联网资源枯竭和对数据需求的上升，我们应该看到实验室在数据上的投入与算力持平，很可能将其算力预算的很大一部分用于数据。当我们看到数万亿美元花在算力上时，也应该预期数千亿美元花在数据（人类数据和收集预算）上，因为两者同等重要。值得注意的是，数据支出已经呈现出这种趋势：不计实验室内部努力，跨供应商的总数据支出每年已约为 70 亿美元。到 2030 年增长 10 倍以上是完全合理的。

数据是护城河

数据日益私有化也将极大地改变竞争格局。算力是一种商品——每个人都购买相同的芯片，建造相同的集群——而数据则不然。前沿模型直到现在都感觉彼此惊人相似，主要原因在于它们训练的数据集基本相同（实验室之间的预训练数据差异似乎很小）。随着实验室转向更独家、手动收集的语料库，我认为模型将开始越来越分化。

OpenAI 在数学上领先而 Anthropic 在网络安全上领先并非偶然。我真的认为，专注于收集高质量的中期训练 token、定制强化学习任务、环境，并投入专门的研究努力，是推动过去一年大部分可见进步的原因。James Betker 有一篇优秀的博客文章题为“模型中的‘它’就是数据集”：模型架构和算力为你带来效率和量级性能提升，但归根结底，任何架构的模型都是其数据集令人难以置信的优秀近似器，模型的核心实质归结为就是数据集，别无其他。数据是一道重要的护城河。

AGI 做多，ASI 做空

正如我之前在推特上所说，我确信，尽管有种种叙事，数据标注行业将继续成为优秀的企业驱动力，并且是绝佳的 AGI 做多、ASI 做空标的。论点就是：等到 AGI 实验室不再需要数据时，其他一切可能也都结束了[2]。在这种框架下，剩下的最后一批公司应该是数据公司，因为最后一点具有经济价值的数据都会被吸进来。而这些公司已经是有史以来增长最快的公司之一：三年前成立的 Mercor，据传收入已达 20 亿美元，拥有数百万签约的专家标注员。

尽管这些业务非常不固定（所需数据类型不断变化），但我认为这并不削弱它们的价值。经济的长尾很长，而且随着你深入到更冷门的信息，价值并不会减少：随着模型越来越强大，边际数据集的价值是上升而非下降的。自动化一份完整工作意味着覆盖其全部任务、工具、边缘情况和长期循环。这里存在某种 O 型环逻辑：当一个数据集能让系统从完成某项工作的 99% 提升到 100% 时，原本不合理的收集成本就变得合理了3。

数据行业的竞争格局仍在演变，但随着数据需求日益细分、超高质量、专家生成，我认为我们会看到真正的整合。再次逆叙事而行，我们很可能会看到基于品牌、数据质量控制（根据个人经验，质量差异巨大）以及人才网络自身的网络效应随时间推移而形成的真正竞争差异化。我们已经看到快速变化的数据类型需求有利于现有企业，那些早期了解市场走向的公司受益。

核心约束

真正值得注意的是，尽管距离我们预期的许多“AGI”特征还很远，但我们似乎已经掌握了吸收大部分具有经济价值工作的配方——预训练加强化学习。就像国际象棋引擎证明我们根本不需要通用智能来解决国际象棋问题一样（我们原本以为需要），我们很快会意识到软件、数学以及经济中的绝大多数领域（包括物理世界，只是大约落后 3 年！）也是如此。如果递归自我改进或其他算法突破出现，那太棒了，但我们真的不必等待它。从现在到自动化经济之间的核心约束不是这些，而是数据覆盖：每一个应用、工作流程、边缘情况、过程等等，都存储在私有仓库或某人的脑海里。

最终，尽管我们在更高效的模型架构上取得了巨大进步，像“星门”这样的集群为我们提供了 ZettaFLOPS 级别的算力，但我们收集所缺乏数据的速度确实没有跟上。

我们很快将生活在一个拥有方法和算力来加速科学进步或经济增长，但缺乏所需数据的世界。而今天我们已经处于这种境地：如果我们在会计/许多医学任务/法律咨询上拥有与代码相同的预训练和强化学习覆盖，前沿模型肯定能像在软件工程上一样出色。

我真的很想强调这一点：我们自动化经济的速度将直接受限于我们收集相关数据的能力。

值得指出的是，在这种假设下，由于数据具有防御性且与经济及科学进步直接成正比，数据也应该像算力一样被视为国家战略资产。想象一下，在一个我们拥有“曼哈顿计划”级别的 AI 努力并需要将数据收集视为限制因素的世界里，我们会做什么。我们应该关注中国，凭借更强的国家能力和威权经济控制，有能力在全国范围内动员数据收集，可能在未来使其经济和科学产出比我们更快地复合增长。

数据的“星门”

鉴于这篇帖子已经太长了，我将把完整的想法留到未来的一篇帖子中，所以在这里我真的很想提出一个问题。“星门”之所以存在，是因为我们围绕算力这个基本要素组织了数万亿美元、国际战略、千兆瓦级能源。对于数据来说，同等雄心的努力会是什么样子？

显然，扩展数据收集这种跨经济体的异质信息，不会像扩展算力这种同质化基础设施努力那样清晰。核心划分首先在于覆盖范围——所有未捕获的知识，遍布经济/科学/物理世界以及那些根本没有被记录的东西——其次在于我们已经在训练的领域内的绝对数量：更多困难的数学任务、更高质量的网络文本、更多的编程数据、更多的法律草案等。

我很快会发布一篇帖子，详细阐述我的建议。有很多创造空间。快速而言，我们可能需要先对其展开深入普查，了解我们拥有什么、缺少什么，预测 2030 年的模型仍会在哪些方面表现不佳，然后反向推导今天应该收集什么。你可以授权大量数据，利用实验室的高估值来收购数据集或公司。这类收集很多带有对抗性，因为涉及公司，所以需要大量工程来正确进行。我们应该去说服重要公司关闭删除政策，即使我们还没有从他们那里购买数据。消费品领域的数据飞轮将是巨大的。保密训练、资助研究的政府立法、为了获取数据而亏本运营公司等等。

我们正朝着数千亿美元的支出、国家优先级排序以及即将到来的重大数据限制迈进。我们有一个绝佳的机会来创造性地思考一个数据巨型项目会是什么样子：我们如何有意识地构建相当于下一个互联网规模的数据？

脚注

[2]: “AGI 免费轮”赌注：赢了就是 AGI，输了 ASI 也会把世界翻个底朝天。