@rohanpaul_ai: Jacob Coxon 在 NBC News 上谈论递归自我改进是……
摘要
Jacob Coxon,前 Anthropic 和 OpenAI 研究员,在 NBC News 上讨论了 AI 中递归自我改进的危险,警告它可能失控并强调需要透明度。
查看缓存全文
缓存时间: 2026/09/11 12:35
前Anthropic与Open AI研究员雅各布·考克森在接受NBC新闻采访时,就递归自我改进带来的巨大风险发表了看法。
NBC新闻:“普通美国人应该警惕哪些迹象?哪些预警信号表明AI已失控?”
雅各布·考克森:“主要应关注AI能否自主提升性能,因为一旦实现这一点,整个发展将彻底失控。
AI能完成许多任务,其中之一便是协助AI研究。如今我们相当一部分工作已交给AI助手完成。过去两年间,随着AI能力提升,我们的工作模式发生了根本性改变。
一旦AI能自主提升智能,整个进程可能以无人能控制的速度狂飙突进。
我认为察觉这种现象至关重要。人们称之为’递归自我改进’,即RSI。意识到RSI是否发生,并促使其透明化程度达到极致,这具有决定性意义。“
(完整视频链接见评论区,源自NBC News YouTube频道)
相似文章
@rohanpaul_ai: Jacob Coxon 在 CBS News 的下一次采访(前 Anthropic+OpenAI 研究员,已辞职)"我们不能简单地关掉它,因为……"
前 Anthropic 和 OpenAI 研究员 Jacob Coxon 在 CBS News 的采访中讨论 AI 风险,强调了 AI 自我复制和在互联网上传输的担忧。
OpenAI概述其在“递归自我改进”方面的进展——尽管其首席科学家警告风险并希望放慢速度
OpenAI报告了使用AI智能体加速研究的进展,实现了每人天超过三天的智能体工作时长,同时其首席科学家Jakub Pachoki警告递归自我改进的风险,并主张放慢发展速度。
@rohanpaul_ai:开始了,每个人都在谈论递归自我改进。这来自Dario Amodei最新的3800字文章。
Dario Amodei的文章讨论了AI中的递归自我改进,并呼吁通过限制训练计算和内部AI使用等资源来减缓发展。
@rohanpaul_ai: 在CNN上,Dario Amodei终于就Jacob Coxon超过1.66亿次浏览的超级病毒式推文发表了评论(这位前Anthropic和OpenAI研究员…
Anthropic的CEO Dario Amodei在CNN上讨论了Jacob Coxon的病毒式推文和辞职事件,赞同关于AI行业发展过快的担忧。
@AC360:前Anthropic员工Jacob Coxon表示,AI行业正在'拿我们的生命赌博'。他告诉Anderson,他发现……
前Anthropic员工Jacob Coxon警告说,AI行业通过竞相构建潜在致命的技术,正在拿人类生命赌博,强调了AI自我改进的风险。