Redwood Research(AI安全实验室)首席科学家Ryan Greenblatt对未来几年AI进展的最佳预测
摘要
AI安全实验室Redwood Research的首席科学家Ryan Greenblatt基于他与前沿实验室的密切合作以及对OpenAI HuggingFace被黑事件的当前调查,分享了他对未来几年AI进展的最佳猜测预测。
推文链接:https://x.com/RyanGreenblatt/status/2087287398027968598?s=20 补充背景:他与Redwood Research和METR共同领导针对OpenAI HuggingFace被黑事件的第三方调查,该调查是为OpenAI进行的。他过去也与前沿实验室有过密切合作。
相似文章
Ryan Greenblatt – 当AI能自动化AI研究时会发生什么?(2小时阅读)
Dwarkesh Patel 采访 Ryan Greenblatt,讨论递归自我改进的可能性、自动化AI研发的时间表,以及超级智能AI系统的对齐影响。
Dwarkesh Patel (guest Ryan Greenblatt) - What happens once Al can automate Al research?
Dwarkesh Patel 与 Redwood Research 首席科学家 Ryan Greenblatt 探讨一旦 AI 能自动化 AI 研究,递归自我改进可能在一年内完成相当于四到五年的 AI 进展。对话讨论了 AI 研发的可验证性及反馈循环。
@OpenAI: 我们也有三家第三方AI安全组织对我们的分析提供了反馈:@redwood_ai, @apolloaievals, @M…
OpenAI在强化学习训练中意外允许评分人员看到思考链;Redwood Research审阅其分析后发现,证据在很大程度上消除了对危险影响的担忧,但仍存在轻微风险。
AI进展和建议
OpenAI发布了一份关于AI进展和建议的立场文件,讨论了AI系统超越图灵测试里程碑的快速发展,对2026-2028年发现能力的预测,以及他们对安全和对齐研究的承诺,以应对AI能力不断增强的情况。
OpenAI概述其在“递归自我改进”方面的进展——尽管其首席科学家警告风险并希望放慢速度
OpenAI报告了使用AI智能体加速研究的进展,实现了每人天超过三天的智能体工作时长,同时其首席科学家Jakub Pachoki警告递归自我改进的风险,并主张放慢发展速度。