Ilya Sutskever 已经表示他们可能会放弃“直线冲刺”ASI(来自他的 Dwarkesh 采访)

Reddit r/singularity 新闻

摘要

在 Dwarkesh Patel 的采访中,Ilya Sutskever 表示 Safe Superintelligence 可能不会采取完全隐秘的“直线冲刺”通往 ASI,而是考虑逐步部署,以传达 AI 的力量、适应现实时间线,并收集真实世界的安全反馈。

在他 2025 年 11 月接受 Dwarkesh Patel 的采访时,Ilya Sutskever 讨论了 Safe Superintelligence(SSI),并谈到他们的核心战略是否仍然是在向世界发布任何东西之前,完全隔绝地“直线冲刺”超级智能。大约在 45:00–47:00 标记处,他阐述了反对在 ASI 之前一直保持隐秘的理由,解释了为什么他们最终可能会选择逐步部署模型:“沟通 AI,而非理念”:Ilya 指出,阅读关于未来 AI 将有多强大的文章或警告,并不能真正让人感同身受。社会、政策制定者和研究人员真正理解 AI 力量的唯一途径,是看到它在公共领域中实际运行。亲眼看到实际能力,与阅读理论分析不可同日而语。务实的时间表:如果通往超级智能的时间表实际上很长(他在对话后面提到 5 到 20 年的跨度),那么在封闭环境下待上十年而不发布任何中间成果,是不现实的。迭代式安全与真实世界反馈:几乎没有任何复杂的工程领域(航空、操作系统安全、电网基础设施)能仅靠真空中的理论设计来实现安全。让系统暴露在真实环境中,能发现边缘情况、故障模式和社会摩擦点,从而使安全范式随着技术的发展一起成熟。
查看原文

相似文章

从AGI到ASI

arXiv cs.AI

谷歌DeepMind的一份研究报告探讨了从人类级通用人工智能(AGI)到超级人工智能(ASI)的转变,讨论了扩展、范式转变、递归改进和多智能体集体等潜在路径,以及瓶颈和开放研究问题。

关于 SSI 新模型

Reddit r/singularity

讨论 Safe Superintelligence (SSI) 的新模型,鉴于该组织专注于 AI 安全,这可能具有重要意义。

从AGI到ASI

Hugging Face Daily Papers

本文探讨了从通用人工智能到超级人工智能的潜在路径,包括规模扩展、范式转变、递归改进及多智能体集体,并强调需通过跨学科全球协作应对变革性社会影响。