Dwarkesh Patel (guest Ryan Greenblatt) - What happens once Al can automate Al research?

> TL;DR: Ryan Greenblatt 认为，一旦 AI 达到顶尖人类专家的研究水平，递归自我改进可能让一年内完成相当于四到五年（甚至更久）的 AI 进展。 ## 对话背景 本期节目嘉宾是 Ryan Greenblatt，Redwood Research 首席科学家，研究方向为技术性 AI 安全与安保。主持人与他探讨了一个关键问题：递归自我改进——即人类水平智能出现后，是否会在极短时间内弹射向大量超级智能，且每个超级智能在各自领域都远超顶尖人类专家。 主持人坦言，自己历史上对这种情景相当怀疑，而 Ryan 似乎认为它是合理的，因此希望听到支持这一论断的论证。 ## 为什么 AI 研究是 AI 特别擅长的任务 Ryan 首先指出，AI 研发是一种 AI 特别擅长的任务，原因在于： - 各家公司都在非常努力地让 AI 擅长 AI 研发。 - 从当前 AI 发展的角度看，这是一个具有很多优良属性的领域。 - 它相当可验证，可以迭代地做一堆事情，并在各种指标上爬山。 ## 反馈循环：从“等同于人类专家”到“加速进展” Ryan 认为，一旦拥有大致能与顶尖人类专家匹敌的 AI 研发 AI，就可能启动一个反馈循环： > AI 在做 AI 研究 → 产生更聪明的 AI → 反馈回来。 这个反馈循环可能足够强，以至于短时间内取得大量进展。他的中位数预期是： > 一年内完成大约四五年份的 AI 进展。 他强调，这需要真正克服研究中的巨大收益递减，并且基本上要做出相当于在很大规模算力扩展后本会获得的进展，因此是一件相当令人印象深刻的大事。 ## 时间尺度参照：三年前的 GPT-4 Ryan 提醒听众，五年 AI 进展、四年 AI 进展，甚至三年 AI 进展，都是“巨量他妈的” AI 进展。 > 三年多一点前，GPT-4 刚出来。现在，我们有 Mythos 5 什么的，也许 Anthropic 内部还有一个好一点的模型。 他认为，那只是在三年多一点的时间里取得的巨大进展。如果说是五年，那么更多是在说从 GPT-3 跳到 Mythos 5 之类的跨度。 ## 论证的三个部分 Ryan 表示，这个论证有三个不同部分，并计划逐一评估。目前只展开了第一部分： - **第一，AI 研发非常可验证的。** （对话录音在此处截断，后续内容未包含在原始转录中。） ## Source [原文视频：Dwarkesh Patel (guest Ryan Greenblatt) - What happens once Al can automate Al research?](https://youtu.be/-RXD4bTuFTo?si=J481ESJkIcEzSyCg)