@rohanpaul_ai: Jacob Coxon 在 NBC News 上谈论递归自我改进是……

X AI KOLs Timeline 新闻

摘要

Jacob Coxon,前 Anthropic 和 OpenAI 研究员,在 NBC News 上讨论了 AI 中递归自我改进的危险,警告它可能失控并强调需要透明度。

Jacob Coxon(前 Anthropic 和 OpenAI 研究员)在 NBC News 上谈论递归自我改进是最大的风险。 NBC News: "美国人应该开始寻找哪些迹象?有哪些警告信号告诉我们它已经失控?" Jacob Coxon: "你应该寻找的主要迹象是 AI 是否能开始自我改进,因为到那时,事情就完全失控了。 AI 能做很多事情,对吧?其中之一是帮助 AI 研究。我们很多工作现在都委托给 AI 来帮助我们。随着 AI 变得更好,我们的工作在过去两年发生了巨大变化。 一旦 AI 能让自己变得更聪明,整个事情可能发展得如此之快,以至于没有人有任何机会控制它。 我认为意识到这一点是否发生很重要。人们称之为 RSI,递归自我改进。意识到 RSI 是否正在发生,并极度透明地公开其程度,是至关重要的。" ---- 来自 "NBC News" YouTube 频道,(完整视频链接见评论)
查看原文
查看缓存全文

缓存时间: 2026/09/11 12:35

前Anthropic与Open AI研究员雅各布·考克森在接受NBC新闻采访时,就递归自我改进带来的巨大风险发表了看法。

NBC新闻:“普通美国人应该警惕哪些迹象?哪些预警信号表明AI已失控?”

雅各布·考克森:“主要应关注AI能否自主提升性能,因为一旦实现这一点,整个发展将彻底失控。

AI能完成许多任务,其中之一便是协助AI研究。如今我们相当一部分工作已交给AI助手完成。过去两年间,随着AI能力提升,我们的工作模式发生了根本性改变。

一旦AI能自主提升智能,整个进程可能以无人能控制的速度狂飙突进。

我认为察觉这种现象至关重要。人们称之为’递归自我改进’,即RSI。意识到RSI是否发生,并促使其透明化程度达到极致,这具有决定性意义。“


(完整视频链接见评论区,源自NBC News YouTube频道)

相似文章