数据瓶颈不会阻止智能爆炸（36分钟阅读）

# 数据瓶颈不会阻止智能爆炸 来源：https://newsletter.forethought.org/p/data-bottlenecks-wont-prevent-an *本文由Forethought (https://www.forethought.org/about) 创作。查看我们网站上的原文(https://www.forethought.org/research/data-bottlenecks)。* 世界面临的最重要问题之一是，AI是否会经历快速的智能爆炸 (https://www.forethought.org/research/will-ai-r-and-d-automation-cause-a-software-intelligence-explosion) 并迅速自动化大部分现实世界的工作。 人们提出的一个关键反对意见是*数据瓶颈*。数据是AI训练的关键输入——数据增长如何能快到足以支撑如此爆炸式的进展？ 我曾努力寻找强有力的瓶颈，但最终怀疑它们是否会阻止智能爆炸随时间加速发展。 以下是我研究的最具说服力的瓶颈，以及我最终未能被说服的原因。 **瓶颈1：你需要每种工作的数百万条轨迹，这需要数年或数十年才能收集** (更多 (https://www.forethought.org/research/data-bottlenecks#data-bottlenecks-to-automating-most-real-world-work)) 当今的AI算法对数据非常渴求。要自动化整个经济体，你需要海量数据。 但计划并非使用当今的AI算法。计划是在数据中心内进行软件智能爆炸，让AI在AI研究方面变得超级智能——并让该AI产生一种高度**样本高效的算法**。 这样你就不需要每项任务数百万条轨迹。你需要的数据量与人类学习所需的一样多，甚至更少。而且数据可以是杂乱的，就像人类学习所用的数据一样。这些数据可以在几个月内收集到。 怀疑论者：*“但模拟到现实的迁移呢？使用虚拟任务发现的学习算法真的能应用到现实世界吗？”* 人们在这里感到困惑。**训练好的神经网络**泛化能力差。在国际象棋上训练的神经网络很难泛化到围棋。但**学习算法**泛化能力很好。掌握国际象棋的同一学习算法也能掌握围棋（AlphaZero）。Transformer架构是为处理文本而开发的，但它也适用于声音、图像和控制智能体。人类的学习算法是为在稀树草原上狩猎而‘设计’的，但它也适用于弦理论。 因此，如果AI在数据中心内设计出一种样本高效的学习算法，它极有可能能应用于现实世界的任务。（而且AI将能够访问一些现实世界任务，因此可以检查和迭代！） 此时，怀疑论者可能会退却：“*好吧，如果在数据中心发生软件智能爆炸，数据就不会成为瓶颈。但数据瓶颈会阻止这种情况首先发生！*” 所以让我们专注于软件智能爆炸 (https://www.forethought.org/research/will-ai-r-and-d-automation-cause-a-software-intelligence-explosion) 的瓶颈。 **瓶颈2：AI的进步一直依赖于训练数据的指数级增长。这种情况不可能持续，更不用说加速了** (更多 (https://www.forethought.org/research/data-bottlenecks#data-quantity-bottleneck)) 但对软件智能爆炸的预测是外推软件进步。而软件进步的本质是：从*更少*的计算和*更少*的数据中获得相同的能力。因此，爆炸的核心引擎根本不依赖于增加数据量。 **瓶颈3：提高数据质量依赖于人类专家，一旦AI比人类更聪明，这将不再可能** (更多 (https://www.forethought.org/research/data-bottlenecks#when-data-quality-is-below-the-level-of-top-humans-its-easy-to-improve-data-quality-when-data-quality-is-above-that-level-improving-it-is-harder)) 软件智能爆炸的核心引擎*确实*依赖于提高数据质量。今天，我们增强高质量的互联网数据，为人类专家轨迹付费，并构建AI必须复制人类构建软件的强化学习环境。 但所有这些方法都是从现有人类储备中*提取*质量。在人类水平之上，储备是空的。AI必须*制造*比任何现有数据质量更高的数据，并且是从头开始。 这会减缓智能爆炸。 但它不会使其停滞不前。我们已经可以通过强化学习产生超人的数据质量。AI也可以通过更长时间的思考来产生更高质量的轨迹。 关键是，这不会阻止智能爆炸**加速**。失去人类储备使得从AGI到AGI+变得更难——但它使得从AGI+到AGI++也大致同样更难。在每个阶段，劣势是相同的。因此，如果你之前预期每一步比前一步花费的时间更少，你仍然应该这样预期。每一步可能多花50%的时间，但进展仍然在加速。¹ (https://newsletter.forethought.org/p/data-bottlenecks-wont-prevent-an#footnote-1) **瓶颈4：范式税** (更多 (https://www.forethought.org/research/data-bottlenecks#paradigm-tax-early-in-the-sie-conceptual-progress-in-ml-will-make-ai-less-capable-at-ai-rd)) AI的能力是参差不齐的。当AI首次在AI研究上匹配人类时，它将在某些方面比人类强得多，在其他方面弱得多。更多并行副本，更快思考——但更弱的泛化能力和更弱的样本效率。 这意味着AI达到人类水平的表现最初将严重依赖于大量关于Transformer的人类著作。 当AI随后发现新技术时——将不存在这样的知识储备。没有教科书，没有博客文章，没有代码。深刻理解一项技术比偶然发现它更难——我们现在对广义相对论的理解远好于1917年的爱因斯坦。因此，AI可能在继承的技术上匹配人类，但在其创造的技术上会落后于人类。 这种范式税是可以支付的。例如，AI可以生成数百万条轨迹来阐释新技术。但支付税收是实实在在的成本，会减缓AI的进步。 同样，这不会阻止智能爆炸**加速**。它使得AI掌握任何替代Transformer的技术变得更难——但它使得掌握任何替代*那个*的技术也大致同样更难。每一个新范式到来时都没有语料库。这使得每一步比你之前认为的更长，但它不会改变每一步是否比前一步更快。 我的总体结论：**数据瓶颈会减缓软件智能爆炸的早期阶段，但不会阻止它随时间加速。然后，它们也不会阻止AI在此后迅速自动化大部分经济工作。** 帖子的其余部分更深入地捍卫了这一结论。 在讨论我发现最可信的具体数据瓶颈之前，我将快速给出三*种类型*瓶颈的分类法，以及瓶颈可能发生的三*个时间*的另一种分类法。 我喜欢以下数据瓶颈分类（感谢Herbie Bradley）： 1. **数据数量。** 你需要更多与你已经有一些样本的数据分布相同的数据。例如，更多维基百科数据，或更多相同难度的强化学习编程环境。 2. **数据质量。** 你需要能教授与现有数据相同技能的数据，但这些技能的平均质量更高。例如，专家策划的解决困难数学问题的分步解决方案，更困难的强化学习编程环境，或者简单地过滤掉低质量数据。 3. **数据覆盖范围。** 显示数据集中尚未存在的知识和技能的数据。例如，关于如何操作工厂机器的数据，或专家轨迹分步展示如何在Excel中构建金融模型（而你之前的数据只显示完成的模型，没有构建过程）。 [](https://substackcdn.com/image/fetch/$s_!d9cP!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fa30f3314-595f-48a9-8fc8-b789eaa71252_1222x774.jpeg)*三种数据瓶颈类型。AI公司拥有黑色数据点。橙色数据点表示可能阻碍进展的缺失数据。* 我们将在接下来的内容中使用这个分类法。 非常粗略地说，我预期从今天到未来的AI进展将经历三个广泛的阶段：² (https://newsletter.forethought.org/p/data-bottlenecks-wont-prevent-an#footnote-2) 1. **扩展阶段。** 近期由扩展驱动的进展的延续，直到AI在AI研发上匹配人类。 2. **软件智能爆炸。** 在数据中心发生的软件智能爆炸，期间AI在AI研发方面的能力非常迅速地提高。（其他遥远经济任务的能力可能增长慢得多。） 3. **广泛部署。** AI通过学习特定领域的数据，在经济中成千上万个特定领域成为专家。 [](https://substackcdn.com/image/fetch/$s_!9IHN!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F832aa061-f2cb-4316-be8d-2beca9f61838_1224x282.jpeg)*数据瓶颈可能延迟AI进展的三个阶段。* 原则上，数据瓶颈可能延迟这些阶段中的任何一个。我将依次讨论每个阶段！剧透：最终我们将填写一个如下格式的表格： [](https://substackcdn.com/image/fetch/$s_!KEDT!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F79e615ed-d225-4ba8-bdc1-b8e050de5088_1356x844.jpeg) 第一阶段不是我的重点，但我将简要说明我认为数据瓶颈是有可能的。 有限的*数据数量*和*质量*已经在一定程度上降低了扩展预训练的收益。自动化AI研发可能需要更好的*数据覆盖范围*——有丰富的编码数据，但展示（例如）良好研究品味的数据要少得多。事实上，从强化学习泛化似乎仍然相当有限——如果这种情况持续下去，自动化AI研发可能需要为（极其复杂和多样的！）AI研发工作流程的大部分环节构建数据。这可能涉及录制人类的计算机屏幕，或构建大量强化学习环境来覆盖AI研发任务空间。 好的，让我们讨论第二阶段的瓶颈：软件智能爆炸。 我将讨论两个将减缓软件智能爆炸的具体瓶颈。 但首先，我将简要解释为什么我通常不预期这里会有大的数据瓶颈。 假设AI在某个特定的AI研发任务上很弱。AI公司将拥有对现实世界部署环境（AI研发本身！）的自由访问权，因此可以密切研究出了什么问题，并据此制定解决方案。AI可以长时间思考，为监督微调制作高质量的演示，编写复杂的测试和评分标准来评估AI性能，并设计强化学习环境来引出所需的能力。在人类变得过时之前（这发生在软件智能爆炸相当深入的阶段），人类专家可以参与所有这些方法。 好的，让我们转向软件智能爆炸的第一个具体数据瓶颈。 我的论点依赖于两个核心主张。我将依次论证每一个。 **主张1：在软件智能爆炸早期，AI的样本效率和泛化能力将比人类弱。** 我倾向的软件智能爆炸“开始”里程碑是*AI-人类均势 (https://www.planned-obsolescence.org/p/six-milestones-for-ai-automation)*。这是指一个AI公司仅使用其AI（没有人类研究员）所能取得的研究进展，大约等于仅使用其人类研究员（没有2020年后开发的AI）所能取得的进展。³ (https://newsletter.forethought.org/p/data-bottlenecks-wont-prevent-an#footnote-3)4 (https://newsletter.forethought.org/p/data-bottlenecks-wont-prevent-an#footnote-4) 为什么这是一个好的里程碑？除了相当具体外，它也大致是AI开始显著加速AI软件进步的时候。如果仅AI的贡献能等于仅人类的贡献，那么*结合*起来很可能比仅人类贡献大得多，可能是10倍。这是由于AI和人类之间的强互补性。⁵ (https://newsletter.forethought.org/p/data-bottlenecks-wont-prevent-an#footnote-5)因此，AI-人类均势里程碑也大致是软件进步开始显著加速的时候（参见脚注中的粗略计算⁶ (https://newsletter.forethought.org/p/data-bottlenecks-wont-prevent-an#footnote-6)）。 AI的能力是参差不齐的。在AI-人类均势时，AI在某些维度上将比人类*强得多*，在其他维度上*弱得多*。AI的数量将多得多，速度快得多，知识更渊博，经验更丰富。但它的样本效率更弱（即需要比人类多得多的数据才能学习一项新技能），泛化能力更弱（即它学到的东西转移到新情况的效果更差）——这些是当今它较弱的领域⁷ (https://newsletter.forethought.org/p/data-bottlenecks-wont-prevent-an#footnote-7)，而且这种弱点很可能会持续存在。 （我认为AI的弱样本效率和弱泛化能力可能是相互关联的。两者都意味着AI在数据很少的领域能力较弱——感谢Tom Cunningham。我将统称两者为“样本效率”。） 一旦你接受参差不齐，就很难不得出结论：当达到AI-人类均势时，AI在某些维度上将比人类弱得多。样本效率似乎非常可能就是这样一个领域。（参见脚注中的一个反对意见⁸ (https://newsletter.forethought.org/p/data-bottlenecks-wont-prevent-an#footnote-8)） 当然，如果AI-人类均势不是在十年内发生，而是先发生范式转变，那么预测具体的薄弱领域就困难得多。 我认为这种早期软件智能爆炸的参差不齐性可能有许多有趣的含义（例如，对于长期谋划者可能何时出现），但这里我将只关注其对数据瓶颈的影响。 **主张2：一旦AI显著推动AI研发的前沿，AI的弱样本效率就会产生更大影响。新的ML概念将不存在于源自人类的训练数据中，因此AI对其理解不会那么深入。** AI将通过训练多出几个数量级的相关数据，在AI研发上达到与人类均势：数百万篇教授当今ML范式的人类撰写的帖子，数十亿行教授当今编程语言的人类编写的代码，以及大量的强化学习环境——这是多年从真实世界软件中积累起来的——教授当今软件工程和AI研发的最佳实践。 换句话说，AI将*通过显著利用赋予其当今AI研发技术能力的人类衍生数据源*来达到与人类均势。 但如果AI显著推动AI研发的前沿，这些人类衍生的数据源将过时： - AI将发明像专家混合和稀疏注意力这样重要的技术（Transformer的两个重要架构改进），并且可能发明像Transformer和RLVR（当今推理模型背后的强化学习技术）这样重大的技术。但人类编写的预训练数据对理解这些新技术的作用将大打折扣！ - AI将发明改进的编程语言。预训练数据对掌握它们的作用也将大打折扣！ - 它将发明构建AI研发工作流程的新方法，使人类构建的强化学习环境变得不那么有用。 - AI可能发明一个全新的范式，完全不存在于预训练数据中。 当AI完成这些事情时，如果AI的能力仍然依赖于人类衍生的训练数据，软件智能爆炸将陷入困境。 另一种思考方式：AI可能通过使