标签
AI Futures 研究人员更新了他们的时间线预测,认为 METR 的估计——AI 正在推动约 1.7 至 17 倍的 AI 进步加速——意味着智能爆炸将如期在 2027 年发生,超人类 AI 研究员(Superhuman AI Researcher)很可能在 2027 年出现,而在 2028 年之前出现超越顶级专家的 AI(Top-Expert-Dominating AI)的概率为 35% 至 65%。
Toby Ord 的文章探讨 AI 模型通过更多 token 扩展的效果是否与人类通过更多时间扩展的效果相当,分析了 METR 的对比数据,并讨论了这一问题对 AI 自我改进与智能爆炸前景的影响。
Geoffrey Hinton联合署名发表论文,警告AI如今已参与到下一代AI的研发之中。一旦形成“自我研究→自我改进→更多研究”的循环,便有可能触发真正的“智能爆炸”——论文估算,如今一年的AI进展在未来可能被压缩到大约五周。该论文由来自OpenAI、Anthropic和Microsoft的顶尖研究员共同署名。
Geoffrey Hinton 指出,虽然由递归自我改进引发智能爆炸的概念并非新鲜事物,但如今许多顶尖研究者认为它可能很快就会到来,他还提到了一篇阐述这一观点的新论文。
Miles Brundage 反思了自己在智能爆炸情景考量上的智识失误,这影响了他对AI对齐的乐观态度,并使他对放缓发展的价值持怀疑态度。
本文评估了自动化人工智能研发可能引发智能爆炸的证据,分析了潜在影响,并提出了应对极端风险和收益的政策建议。
本文探讨AI递归自我改进是否能克服收益递减,认为当前数据表明,除非有显著进步,否则自我改进循环不足以引发失控的智能爆炸。
文章认为,数据瓶颈不会阻止AI领域的快速智能爆炸,因为软件进步可以通过改进算法和样本高效学习克服数据限制。
探讨了ASI由于处理速度远快于人脑而经历的主观时间压缩,暗示人类1个月的时间相当于ASI的82万年思维时间,引发对齐问题。