关于不久将来的 46 个想法

这份清单基于我在 6 月 4 日发布的一个帖子。做了一些零星的编辑和补充。好几个人让我把帖子改得更易读，所以就有了这个。

智能

• 我认为人们将被算法进步打个措手不及。整个世界——市场、政府、军队、公司、个人等等——都在试图根据近期的生产效率和规律以及事物的发展态势来理解 AI 及其影响。即使是几个据说“RSI”（递归自我改进）上头的 neo 实验室，似乎也认为这不过是往常的生意，只是多了一个智能体在回路里。不。我的猜测是，在智能生产中还有许多算法的数量级提升空间，也许（也许）高达十个，其中四到七个看起来更有可能。超过十个在原则上也有可能，但这会严重挑战我对宇宙实际允许我们做到的事情的猜测。不太可能，但并非不可能。如果这是真的，那么事情实际上并没有按照它们看起来的样子发展，一场大跳跃即将到来。任何类似这样的事情发生，都会让局面变得比几乎任何人目前预期的都要诡异得多。

• 我们正处于早期起飞阶段。AI 改进 AI 最终可能成为历史上最具深远意义的步骤之一。这并不确定，因为我们不知道离智能的物理和计算极限有多远，不过我敢打赌，我们现在离那个极限还相当远（正如我上面所说，每单位规模再增加约 4-10 个数量级的智能输出是可能的）。

• 既然我们处于起飞阶段，算法研究正在加速。计算仍然是一种稀缺资源，但研究者的时间机会成本降低了，因为你可以随便派一个智能体去执行任何任务或漫无目的地瞎忙。它可能会带回来点什么。所有新想法都伴随着优化债务，而现在可以通过无监督的 token 支出来偿还。大量的研究规模定律曲线将被遍历。

• AI 模型，尤其是前沿模型，会持续变得更好。唯一的真正壁垒是物理定律。模型越来越自主、越来越聪明，并且一直在变好。数学和代码正在被规模+强化学习攻克，其他一切紧随其后。可验证与不可验证作为有意义区分的界限将逐渐模糊。自动化的 AI 研究和 AI 学习将变得越来越相关。训练好模型与模型一般意义上的良好学习密切相关。样本效率、创造力以及所有其他限制都将被解决，然后开始在任何规模上接近算法最优性。

• 认为长期任务智能体总是需要同等长度的训练是错误的，因为时间上的泛化是存在的。长任务不是由“长性”构成的！这与 LeCun 的 (1-e)^n 误差累积谬误有关。实际发生的是误差校正。这在多个尺度上发生，从单个 token 生成级别到长任务中的步骤。METR 曲线上升的部分原因是智能体开始达到误差校正的逃逸速度。

• 一门工程级别的深度学习科学即将到来。这将比人们预期的快得多地推动我们走向 AI 算法成熟，尽管如上所述，即使原则上我们也不清楚这能走多远。例如，关于尺度不变性的科学会极大地增加有用实验的规模和回报，因为在一个 GPU 上做的实验可以告诉你如何使用十万个 GPU。

• 对于人类技术努力的每一个领域，都会有“第 37 手”时刻，然后很快，“第 37 手”就会显得过时。我是说所有领域。

• 计算能力将持续提升。当今最好的矩阵乘法机器远未达到 AI 加速器的物理极限。数字硅还有很大的改进空间。还有许多新的基板候选，它们所欠的算法债务将被自动化到极限，但我们还不知道在空间/能量/时间/可制造性/成本方面，哪一个对 AI 是最优的。光子学和随机硅都是有趣的候选，不过我也预期奇点会带来惊喜。

• 实验室能领先多远，部分取决于自动化和规模的回报，这包括更深度算法带来的回报。如果深度学习的实践（和理论）永远停留在浅层，那么长期来看，护城河主要将不是算法方面的，因为秘密相对容易发现。最终，蒸馏+数据+时间可以赶上计算规模，尽管可能很慢。到目前为止，这似乎部分是我们的现状，但即使如此，也无法保证会一直这样。

• 如果我们规模扩大时事情变得不那么浅层，那么每一次自动化和规模的增量都会给你带来算法秘密，这些秘密对于其他任何人来说越来越难以企及。这似乎也部分是我们的现状。无论哪种情况，终点都是当规模和研究带来的边际效用饱和时。我们不知道那在哪里。可能是距离我们今天两个数量级，也可能是二十个。没人知道。

智能供应链

• 计算能力至少在未来几年内将是一个高度争夺的资源。但在这段时间内，它会开始商品化，我们会嘲笑贫瘠的 2020 年代。规模在扩大并且有效，资本随之而来，一次次地转动飞轮。更多的矩阵乘法机器、更多的晶圆厂和更多的能源即将到来。智能生产中的瓶颈是暂时的。尽管不排除潜在的经济减速带。

• 智能供应链的性质正在改变。目前它高度集中在实验室周围。但实验室正在自动化它们之所以优秀的主要因素：研究人员以及算法优势的发现。一旦这种情况开始发生，假设开源不会落后太远，尤其是如果实验室不锁死 AI 研究者模型，那么实验室的优势将来自于更容易获得的资本、拥有更多计算资源、拥有特殊数据、业务关系以及好的产品。这确实取决于上面提到的算法深度问题如何解决，以及其他因素。

• 分布式训练将减少对单体数据中心建设的需求，为非超大规模企业提供一些优势。但这在纯粹的单次最大运行规模上不会超过超大规模企业。

• 自动化的 AI 实验将使得算法秘密的广泛发现成为可能，因为这些秘密本质上比全规模训练运行更容易分发。目前尚不清楚这能走多远，但我预期相当远。如上所述，深度学习的基本深度仍然未知，这一点上的上限取决于此。

• 尽管这些力量似乎对学术界和开源有利，但由于计算成本和社会成本，它们仍可能陷入困境。例如，GB300 是服务于 GLM5.2 更有价值，还是服务于 Fable？在某个学术实验室做非前沿研究更有价值，还是在 Anthropic 内部构建 Mythos 2？市场会解决需求最大的地方，而这目前似乎确实是实验室。这意味着，如果开源实验室还没有锁定计算能力，即使它们有资本，它们也可能变得更加缺乏计算资源。即便有资本，它们也要计算自己的研究机会成本与租用计算资源的对比。参见 Colossus x Anthropic。

• 在一个 AI 能力开始变得“辛辣”（未来 0-18 个月内）的环境中，开源也可能在社会上遇到困难，特别是如果我们继续缓慢加速安全措施（目前一直如此）的话。

• 随着资本涌入实验室，开源可能开始衰落。这里存在一个协调问题：除了实验室（可能还有政府），没有人想要 token 垄断。但如果这个问题能够解决，并且监管环境有利，事情也许能成。

机器人技术

• 机器人领域将有一个类似 ChatGPT 的 2022 年 11 月时刻，然后是一个类似 Opus 4.5 的 2025 年 11 月时刻。这两个都还没有发生，但它们即将到来，而且会随着 AI 的快速进步（包括 AI 加速的物理系统工程）而比人们想象的要快。看起来这两个时刻之间的差距对于机器人来说不会长达三年。

• 然而，要在物理上扩大世界上的机器人数量，可能需要等到 2030 年或更晚。尽管我们每年制造大约 1 亿辆汽车，而人形机器人比汽车小得多。考虑到我们每年还制造 10 亿部智能手机，如果资本和算法快速推进，到 2030 年预计每年制造 1 亿台机器人似乎是合理的。肯定可以实现每年 1000 万台，因为我们在无人机市场已经做到了。好的软件证明人形机器人在小规模上是值得的，可以吸引无限资本，具体取决于证明的质量。

• 那些今天看起来像是机器人硬性限制的东西将会消失，包括例如样本效率低下、相对数据稀缺、昂贵或具有挑战性的手部及电机硬件设计、物理世界的分形复杂性，以及我们在世界中做事方式（如管道工程）的隐藏未记录知识。世界模型看似有用，但具体的东西并不重要。研究的规模定律将被穷举，直到效用消失。

• 全球对机器人的需求很容易达到数百亿台，尤其是如果我们汇总所有形态系数的话。有大量的体力工作值得自动化。市场会试图解决这个问题，人们可能不会挡道。

进步

• 科学正在自动化和虚拟化。这意味着世界上需要的许多进步将来自自动化实验室和模拟。我们不知道虚拟化的全部计算极限，但这样的机器人驱动的生物学、材料科学等实验室将消除大量瓶颈，在此过程中，它们将推动已验证虚拟化的极限，以提高样本效率和物化的净回报。基本上在每个领域，我们将拥有神经模型、显式模拟和真实世界实验的某种组合，共同提高生物学、材料科学等领域的每美元和每时间回报。

• 无处不在的进步定律。在深度学习中，它们被称为规模定律。很难判断任何特定线路上的 S 曲线何时饱和，也很难判断是否在不远处有新的 S 曲线。这里要理解的是，文明进步本身的发动机也有一个进步定律。最可能的是，我们的进步将像我们观察到的大多数自然过程一样是饱和型的，但实际上我们不知道饱和点在哪里。技术和文明的成熟可能近在咫尺，也可能远在天边。我们（a）处于历史上我们几乎未向进步投入任何资源但正在迅速改变的时期，以及（b）我们正在自动化直接输出更多进步的机器。我们正处在一个有趣的时期。

• 规模扩大 vs 规模扩张的未来。从 0 到 1 对比从 1 到 n。宇宙允许我们在广度和深度上取得多少进步是一个悬而未决的问题。广度更容易估计，因为它类似于“从现在开始，物理定律允许我们进行的总计算步骤有多少”。这些计算在一般意义上能有多“深”，是未知的。有些未来版本中，科技树非常深，可达的计算宇宙非常丰富，我们将不断发明、发现、再发明，直到物理定律阻止我们——如果它真的会阻止的话。其他版本则更平坦；我们很快达到一个较浅的科技树的极限，并相对容易地达到技术成熟，然后我们将其规模扩张，再次直到满足或物理定律阻止我们。

资本与生产

• 更多的资本和更多的智能意味着加剧的资本主义，这意味着我们更快地走向市场均衡。随着时间的推移，这自然应该意味着通货紧缩和大多数重要商品（包括 AI、食品、住房、医药、电子产品、娱乐和旅行）竞争到边际成本趋近于零。这假设我们不让人们挡道。在某些情况下他们可能会。

• 采矿将自动化。航运（陆、海、空）将自动化。工厂将自动化。工厂工人将自动化。配送中心将自动化。整个供应链的维护、改进和扩展都将自动化。

• 人类将在很长、很长时间内拥有工作。这将占人类多大比例是一个悬而未决的问题。声称这个数字会很高的人过于自信，声称这个数字会为零的人也同样过于自信。看起来很难想象人类在知识工作的知识部分还能在边际上贡献多久。对某些东西的需求，比如医生，可能会大幅下降，如果我们有每月 20 美元的超人类 AI 医生加上按需测试，以及通过更好的医疗技术显著改善健康的话。然而，因为我们现在将医生卡特尔化，我们可能继续这样做，成为医生仍将是一个伟大的职业。对娱乐的需求可能会增加，但生产成本会下降，娱乐中对人类的技术需求已经显著减少。然而，我们非常关心其他人，所以也许我们会继续关心他们，成为演员可能会变得更有利可图。思考这可能如何发展的一个方法是看当今工人与消费者之间的供应链中间有多少层。对于 TikTok 网红，有零层。对于医生，有零层。对于工厂工人，有很多层。一份工作（a）可以被去中介化的程度，（b）可以被超越竞争的程度，或者（c）可互换的程度，很可能在很大程度上决定其命运。这个分析相当微妙，这一段无法充分展开，但最后要提到的是，这假设我们没有需求侧急剧崩溃——如果太多人不工作，而生产力/政府效率不足以支撑全民基本收入/全民基本住房，这种情况可能发生。

• 与上述观点相关但不矛盾：存在“永久下层阶级”的可能性。在更好的世界里，如果它真的存在，可能看起来更像是极大受限的自主性，而不是有害的收入限制。对大多数人来说这最终没问题，我们的自主性已经受到现代社会的极大限制，但这需要心理适应，可能耗时且痛苦。

文化与心理

• 人类心理目前成长和适应缓慢，但这将会改变。关键在于以好的方式改变，这对一些人来说可能不容易。由于丰富的智能和自动化，我们将比今天不适应环境的进化后遗症更好地设计出持久健康的心理。未来几十年内将实现精神科和心理学的千年创新。人类将从根本上健康。粗劣的、退化的大脑奖励刺激作为风险被高估了，因为我们将能够获得更精巧、更多样的心智工程。

• 在一个高度不确定的世界里，人们将比以往更激烈地争夺权力、地位和财富，在此过程中将乐于背叛同胞。他们会发明各种理由来解释为什么自己的行为是好的，甚至是伟大的。环顾四周。

• 你活着将会看到你无法相信的令人尴尬的事情。

• 目前有一种明显的虚伪言论：那些即将或已经跻身前 0.01% 富豪的人说 AI 将惠及所有人，不用担心工作等等，但他们自己不会放弃财富去像一个随机的地球人甚至美国人那样生活一年、五年或二十年。人们能看到这一点，并且已经开始……