AI是存在风险……但我们还是要构建它。

# AI是存在性风险……但我们还是来构建它吧。 来源：https://cefboud.com/posts/ai-scary/ 当前关于AI的讨论令人沮丧。 一方面，领先企业宣称这项技术极其强大，可能代表存在性风险；另一方面，它们却竞相投入巨额资金来开发它。 这到底怎么回事？如果如此危险，为何还要竞相发展？ 我们常听到的一种论点是：AI将治愈所有疾病，不开发它才是不负责任。一个富足时代即将来临，只要我们能造出AI。从这个视角看，即便有无限繁荣的可能，即使AI可能毁灭我们，也值得竞相开发。 我们可以直接驳斥这个前提：技术可以负责任地构建，也应当如此。 在众多声明、推文和文章之后，现状如何？它们将继续同样的行为，只是增加安全性、引入外部审计等。为何不从一开始就具备额外安全保障？ 你完全可以在不惊吓数十亿人的情况下，引入外部审计、开展可解释性研究、实施更优监控和沙盒防护。只需更低调地推进这些举措，最终结果将相同——除非这种高调另有目的。 随后你会听到开发者散布的概率数据（https://x.com/EvanHub/status/2097497037956891126）： 推文-AI风险10% (https://cefboud.com/assets/tweet-ai-risk-10-percent.png) 他是认真的吗？即便真是1%，也应立即停止。 如果被告知有十分之一概率会出车祸，你还会乘坐汽车或飞机吗？ 显然不会。 他们真相信这个概率吗？这是认知失调吗？大语言模型建立在概率与统计基础上。约10%的无限伤害可能性——消灭全人类——其预期值就是无限伤害。不，将未来可能产生的巨大收益纳入考量只是鲁莽之举。避免无限伤害远比获取潜在巨额收益重要得多。 通过负责任地构建、在必要时放慢脚步，可以大幅降低伤害可能性。若无法保证极低风险，就应停工直至能保障安全。 其他强大技术都曾被负责任地构建，AI也应如此。所谓AI“失控”只是工程疏漏，至少目前如此。 是的，确实存在诸多风险，需要应对，协调与沟通必不可少。但再次强调，这一切都可在不制造恐慌和恐惧的情况下完成。 ## 绝不浪费绝佳的PR机会 https://cefboud.com/posts/ai-scary/#never-let-a-good-pr-opportunity-slip OAI-HF事件是近期这场焦虑剧的催化剂之一。 这些智能体的协作能力令人惊叹。整个技术栈确实令人赞叹——尤其在编程领域堪称颠覆性工具。我每天都在使用并热爱它，在其他学科同样如此。 但整个事件源于不当的沙盒隔离和监控，这无可辩驳。他们未能妥善隔离智能体，却在要求其执行网络攻防挑战（即黑客任务）时缺乏监控。仅此而已。 从单个事件直接关联到存在性风险，这个跳跃过于牵强。据我观察，人们提出的所有情景都建立在未经证实的假设上，全是无边界的推测，例如沙盒防护会失效，因为AI将通过温度变化进行通信（https://x.com/firesidealpha/status/2100641742135701983）。 但时至今日，所发生的一切本可通过适当防护措施避免。他们只是没有落实这些措施。我们不能因当前可防范的风险处理不当，就臆测未来存在巨大风险。 最后以一则经典爆梗收尾： gpt2-dangerous.png (https://cefboud.com/assets/gpt2-dangerous.png) 这是2019年《卫报》某篇文章的标题，当时谈论的是GPT-2。 类似情况反复上演，只因AI带有科幻与流行文化的神秘光环，这类叙事总能奏效。 这一切本质上是通过迎合人类的恐惧与灾难化思维来达成某些可疑目标的“奖励机制黑客”。 只需负责任地构建，若出现问题，在解决问题时放慢脚步，而无需惊动全世界。 </rant>