@VraserX:我认为这颠倒了最重要的问题。AI实验室里聪明人害怕……的事实是……

X AI KOLs Timeline 新闻

摘要

作者反对全面暂停AI发展,强调负责任的进展比冻结进步更安全,后者可能将发展转移到安全措施较少的行为者手中,并突出了AI在医学、清洁能源等方面的潜在益处。

我认为这颠倒了最重要的问题。 AI实验室里聪明人害怕灾难性后果的事实,是认真对待风险的原因。这不是灾难是最可能结果的证据,也绝对不能证明停止能力进展会让人类更安全。 我们仍然不知道扩大当前系统是否会导致不可控的递归自我改进的超级智能。我们也不知道这样的系统是否会必然寻求权力、逃脱控制或变得敌对。这些是值得大量研究的可能失败模式,但可能性在这里被呈现为轨迹。 而临时能力禁令有一个巨大的问题。你暂停的不是物理学。你暂停的是同意暂停的行为者。 如果美国实验室停止,而透明度较低的国家、军事项目或其他行为者继续,我们最终可能恰恰是你担心的结果,只不过最强大的系统在审查更少、可解释性研究更少、安全约束更少的地方被开发。 风险方程式的另一面在这场争论中几乎消失了。先进的AI可以在我们从未经历过的规模上加速医学、生物学、清洁能源、材料科学、教育和科学发现。延迟这项技术也不是道德上中立的行为。在那些失去的岁月里,人们会死于更强大的智能可能帮助解决的疾病和问题。 理智的立场不是“盲目竞争”,也不是“冻结进展”。 足够快地发展,让负责任的行为者保持在前沿,同时让评估、可解释性、安全性、控制和国际协调更快地扩大。 我认真对待AI风险正是因为利害关系巨大。但生存恐惧不能成为证据的替代品。 如果我们真的接近超级智能,人类应该格外小心。 我们也应该格外小心地决定人类绝不能达到它。
查看原文
查看缓存全文

缓存时间: 2026/09/09 01:45

我认为这个问题把最重要的方面搞反了。

人工智能实验室内的聪明人对灾难性后果的担忧,恰恰是认真对待风险的理由,而非灾难最可能发生的确凿证据,更不能证明停止能力进步就能让人类更安全。

我们尚未证实当前系统的规模化发展会导致失控的递归自我完善超级智能,也不确定这样的系统必然会寻求权力、逃脱控制或充满敌意。这些都是值得深入研究的合理失败模式,但可能性不应被表述为必然趋势。

临时性能力禁令存在巨大缺陷:这暂停的不是物理学发展,而是仅限于同意暂停的参与者。

如果美国实验室停止研究,而透明度较低的国家、军事项目或其他行动者继续推进,我们可能恰恰会面临最担忧的结局——更强大的系统将在审查更少、可解释性研究更薄弱、安全约束更宽松的环境中诞生。

风险方程式的另一面几乎被忽视:先进人工智能能在医学、生物、清洁能源、材料科学、教育及科学发现领域带来前所未有的跨越式进步。延误这项技术的发展同样非道德中立——在停滞的岁月里,本可由更强人工智能帮助解决的疾病和问题将夺去更多生命。

理性的立场既非“盲目竞赛“,也非“冻结进步“。

应当在负责任的参与者保持前沿地位的同时加速发展,同时让评估体系、可解释性研究、安全机制、风险控制和国际协调建设以更快速度推进。

我之所以严肃对待人工智能风险,正是因为其影响深远。但存在主义恐惧不能成为替代证据的依据。

若人类确实在接近超级智能时代,应保持非凡谨慎。

同样也需谨慎思考“人类决不能达成超级智能“的命题。

诚然,我们必须解决全球最紧迫的难题,而通用人工智能是唯一途径。

超级智能最难的治理问题或许不在于防止它控制人类。

而在于防止少数人通过它控制所有人。

相似文章