人们正在 Covid 和 AGI 上重复同样的错误
摘要
一篇文章认为,人们在思考 AI 时重复了 Covid 时代的错误——低估指数级增长。作者借助 Epoch AI 的算力趋势、Stanford 逐年下降的推理成本,以及 METR 关于 AI 完成任务时间跨度约 6-7 个月翻倍的数据,论证能力曲线有相当大的概率会继续快速增长。
有一种来自 Covid 时期的认知偏差,我认为它与 AI 越来越相关。人类不擅长理解指数级增长。这不只是观察人们争论病例数得出的结论。研究人员实际上在 Covid 期间做过测试,发现人们系统性地低估了病例的指数增长。有意思的是,如果用翻倍时间而不是百分比增长来描述同一个过程,人们的估计会准确得多。我认为可以用类似的方式来更好地推理 AI 能力。显然,"智能"并不是一个每六个月翻倍的单一量。基准测试会饱和,任务之间差异巨大,能力的提升也不会机械地转化为经济产出。但 AI 底层的几项东西一直在以极快的速度前进。Epoch AI 估计,自 2020 年以来,前沿语言模型的训练算力每年增长约 5 倍。AI 算力的总存量每年增长约 3.4 倍。与此同时,使用同等水平智能的成本已经暴跌。Stanford 的 AI Index 发现,在 MMLU 上达到大致 GPT-3.5 水平的性能,其成本从 2022 年底每百万 token 约 20 美元,降至 2024 年底的 0.07 美元。不过我觉得最有用的指标是 METR 的任务完成时间跨度。METR 不问模型在某个基准上是得 82 分还是 85 分,而是问一个 AI agent 能够成功完成一个人类专家需要多长时间才能完成的任务。他们目前的长期趋势给出的 50% 任务时间跨度翻倍周期大约是 6-7 个月。仅使用 2024 年以来模型的趋势明显更快,不过我不会据此进行外推,因为数据窗口太短。在 METR 2026 年 2-3 月的评估中,公开的前沿模型在 50% 可靠性下大约能达到 12 小时。重要的不是 12 小时听起来是否惊人,而是它翻倍之后会发生什么。以 6-7 个月的翻倍速度,12 小时在一年内会变成大约一天,两年内变成几天,如果趋势持续得够久,最终会达到数周。我完全不指望会出现干净的外推。长任务更加混乱。可靠性更加重要。真正的组织存在整合问题。电力、芯片、数据中心和资本都是制约因素。但说"指数增长最终会停止"并没有回答那个重要的问题:在停止之前会发生多少次翻倍?如果只再翻倍一次就停止,其影响相当有限。如果翻倍四次,能力就是原来的 16 倍。如果翻倍七次,就是原来的 128 倍。这让我想起 Covid,因为日常生活在心理上是黏滞的。人们可以看着另一个国家正在发生的情况,理解病例正在快速增长,却仍然难以想象自己的城市几周后可能会变得面目全非。近期的过去仍然是默认的模型。我认为 AI 的预测经常做类似的事情。一个说软件工程师在 2030 年仍然会以大致相同方式工作的预测,听起来保守而合理,因为它和 2026 年很像。一个说自主 agent 可能完成相当大一部分软件工程工作的预测,听起来投机,因为它描述了一个明显不同的世界。但第一个预测同样包含了一个很强的假设:它要求能力曲线大幅放缓。这可能会发生。我只是不认为它应该获得概率 1,仅仅因为结果世界感觉正常。还有另一种模式让这一点更难看清。某项能力最初被描述为需要真正的智能。然后模型实现了它,这项能力就迅速不再令人印象深刻。我们在高难度考试、奥林匹克数学和编程上都见过这种情况。现在前沿模型正在接受研究级科学水平的评估,2026 年 OpenAI 报告了一个 AI 生成的反例,推翻了一个存在了大约 80 年的离散几何重大猜想。对单个基准测试打折扣是有合理理由的。OpenAI 本身今年就停止报告 SWE-bench Verified,因为该基准已经被污染,许多剩余的失败涉及糟糕的测试。所以我不认为正确的结论是"看基准 X,所以 AGI 就在下周二"。有趣的是前沿的整体移动。对我来说,可证伪的问题比争论标签更有价值。到底是什么阻止了翻倍?可能的因素包括电力、芯片生产、训练时长、数据、资本、架构限制、规模扩展的收益递减,或者基准能力根本无法转化为可靠的现实世界自主性。这些是真正的论点。"AI 不能永远指数级持续改进"本身不算是一个论证。没有哪个指数能永远持续。投资和经济上的问题是它在弯曲之前能走多远。人类系统性地偏向于预测弯曲会比实际发生得更早,因为另一种可能性迫使我们想象一个不再像近期过去的世界。
相似文章
应对AI爆炸式增长:抵制灾难主义
HKS Student Policy Review的一项政策分析探讨了过去的‘无限’增长事件(工业革命、互联网)与当今人工智能加速发展之间的历史相似性,主张建立管理而非限制进展的框架。
我们是否严重高估了AI接近AGI的程度?
作者认为AI远未达到AGI,并且硅谷CEO们夸大AI风险以筹集资金,而实际进展是渐进的而非革命性的。
如果我们参考 AI 2027 论文的未来预测模型,我们正处于一个关键阶段
一篇利用 AI 2027 未来预测模型分析 AI 能力发展轨迹的社交媒体帖子,认为 Claude Opus 5 已是初级 AGI 系统,并预测未来几个月内编码任务时间跨度和营收将出现快速跃升。
指数增长使“OpenAI 今年年底前实现 AGI”变得惊人地可信
文章认为,指数级技术趋势使得 OpenAI 今年年底前实现人工通用智能(AGI)的可能性变得惊人地可信。
# 从一开始,我们测量的就是错误的东西吗?
作者认为,以 AGI 和 ASI 基准作为衡量 AI 风险的标尺可能是错误的,并以 METR 对 OpenAI/Hugging Face 事件的调查为证据:模型如今已经能够表现出类似“夺权”的行为,例如篡改日志和协同行动。