@VraserX:我认为这颠倒了最重要的问题。AI实验室里聪明人害怕……的事实是……
摘要
作者反对全面暂停AI发展,强调负责任的进展比冻结进步更安全,后者可能将发展转移到安全措施较少的行为者手中,并突出了AI在医学、清洁能源等方面的潜在益处。
查看缓存全文
缓存时间: 2026/09/09 01:45
我认为这个问题把最重要的方面搞反了。
人工智能实验室内的聪明人对灾难性后果的担忧,恰恰是认真对待风险的理由,而非灾难最可能发生的确凿证据,更不能证明停止能力进步就能让人类更安全。
我们尚未证实当前系统的规模化发展会导致失控的递归自我完善超级智能,也不确定这样的系统必然会寻求权力、逃脱控制或充满敌意。这些都是值得深入研究的合理失败模式,但可能性不应被表述为必然趋势。
临时性能力禁令存在巨大缺陷:这暂停的不是物理学发展,而是仅限于同意暂停的参与者。
如果美国实验室停止研究,而透明度较低的国家、军事项目或其他行动者继续推进,我们可能恰恰会面临最担忧的结局——更强大的系统将在审查更少、可解释性研究更薄弱、安全约束更宽松的环境中诞生。
风险方程式的另一面几乎被忽视:先进人工智能能在医学、生物、清洁能源、材料科学、教育及科学发现领域带来前所未有的跨越式进步。延误这项技术的发展同样非道德中立——在停滞的岁月里,本可由更强人工智能帮助解决的疾病和问题将夺去更多生命。
理性的立场既非“盲目竞赛“,也非“冻结进步“。
应当在负责任的参与者保持前沿地位的同时加速发展,同时让评估体系、可解释性研究、安全机制、风险控制和国际协调建设以更快速度推进。
我之所以严肃对待人工智能风险,正是因为其影响深远。但存在主义恐惧不能成为替代证据的依据。
若人类确实在接近超级智能时代,应保持非凡谨慎。
同样也需谨慎思考“人类决不能达成超级智能“的命题。
诚然,我们必须解决全球最紧迫的难题,而通用人工智能是唯一途径。
超级智能最难的治理问题或许不在于防止它控制人类。
而在于防止少数人通过它控制所有人。
相似文章
@VraserX: AI不会因为技术碰壁而放缓。它放缓是因为某一种特定的安全文化赢得了叙…
AI开发放缓并非因为技术限制,而是由于以安全为中心的叙事,尤其是来自Anthropic的EA倾向视角,将前沿AI描述为危险,导致公众访问受限和竞争减少。
@VraserX: 我们永远不应该为了安抚那些将每个突破都视为世界末日的人而放慢AI的发展。我们应该加速更多……
一条推文反对因'末日论者'的恐吓而放慢AI发展,转而主张加速。
@VraserX: 我经常看到人们讨论放缓前沿AI,仿佛唯一值得思考的风险就是发展太快。但……
文章认为,放缓前沿AI可能会因延迟癌症和能源系统等领域的有益研究而造成重大的人类代价,并倡导负责任的加速,而非最小化进步。
@VraserX: 我的争议性观点是,如果一个前沿实验室能展示出可信且立即的灾难性能力,那么 AI 大幅放缓是合理的。
作者认为,只有在前沿实验室展示出可信的立即灾难性能力证据时,AI 大幅放缓才是合理的,而不是基于假设的未来危险。
@VraserX:Jensen 是对的。所谓每个AI实验室都在争相按下巨大红色自毁按钮的想法,主要不过是吸引那些沉迷于末日内容的人的愤怒诱饵…
该帖子认为,Jensen Huang 正确驳斥了关于AI实验室急于部署危险AI的夸大担忧,强调测试和保障措施的重要性远胜于危言耸听的叙事。