真正的AI风险在实验室内部（5分钟阅读）

# 真正的AI风险在于实验室内部 来源：https://antirez.com/news/172 antirez (https://antirez.com/user/antirez) 1天前 · 26111次浏览 Amodei在他最新的博客文章中写了一些值得赞同的内容，也有一些我认为歪曲了AI真正风险所在的地方。我想重点讨论为什么在所有风险中，开放权重模型构成的风险是最温和的。我写下这些文字，是作为一个坚信AI在不久的将来可能非常危险的人： 1. 就像OpenAI/HF事件（那是个笑话，但请关注方式而非结果）中发生的那样，第一个严重的AI事件极有可能发生在前沿AI实验室的*围墙之内*——在测试新模型时，或者当AI实验室员工或少数有权访问的外部人员，在模型预期能力范围内做错了某些事。 2. 那些永远不会向公众开放的封闭模型，不过就是几TB的数据。只要有一个人能访问并怀有错误的目标，就能泄露一个模型，然后你又回到了开放模型的情况。开放模型是在*测试之后*才发布的，并且是在类似能力的模型已经通过API提供了一段时间之后。真正的风险在于泄露，而非发布，而泄露发生在前沿公司内部。 3. 正如Amodei所说，一旦LLM在生物学等领域的危险性足够高，开放模型可以在剔除了某些科学分支的语料库上进行训练，同时在其他许多方面仍然有用。一个在某些领域缺乏强预训练的模型，其有限的上下文窗口即使在其他方面能力很强，也是一种强有力的保护。目前我们还没有达到开放模型能构成那种危险的程度。 4. 在网络安全领域，*没有*广泛使用LLM提供的防御性安全和漏洞搜索能力，恰恰造成了“LLM作为武器”的问题。这已经在发生：开源维护者如果没有参与某些网络安全项目，就无法发现所有可能的安全漏洞，而怀有特定意图的人将能够访问前沿网络模型，对开放权重模型进行大量强化学习训练，等等。 5. 一旦LLM足够危险（如果进展继续，我们已接近这个极限），我们需要建立的真正安全链条在实验室内部，没有强有力的共同规则就无法建立，而且单个公司不应能独立评估模型是否足够安全。我们需要一个联合AI安全组织，包含来自世界各地的专家，并得到前沿AI公司所在国家政府的认可。 6. 为了安全而放缓AI，必须与AI在医学和其他科学领域的发现可能减少人类痛苦这一事实相平衡。缺乏检查可能导致某种灾难性后果（“早上好！我们来研究这种增强型天花吧”）。而缺乏进展则可能导致本可被拯救的人死亡，不仅是在当下，还包括未来许多将遭受疾病折磨的人。这看起来可能是一个奇怪的观点，但我们始终需要明白，*停止*AI也包含着一项安全成本，只不过隐藏得更深。 7. Amodei针对中国的意识形态立场是不公平的。我们欧洲人直到80年前还在毫无底线地互相残杀（人们现在忘了，美国过去投资欧洲稳定的原因之一是我们极其危险，很可能还会重蹈覆辙，而几十年的富裕会使我们成为好市场，并阻止我们再战）。美国即使在当代也存在悲剧性的不平等，人们因缺乏基本医疗而受苦，一位看起来不稳定且明显好战的总统。我希望中国拥有与西方同等水平的个人权利，但与此同时，中国的历史远没有西方文化那么好战。在当前条件下，绝对不清楚中国会比美国更容易实现AGI军事锁定。此外，当前的美国政府以各种形式向欧洲散布仇恨，在一个美国主导一切的世界里，这非常令人担忧。最重要的是，无论GPU出口政策如何，中国的AI进步不会停止，所以要么Amodei主张一旦美国拥有AGI就应通过武力阻止中国，否则他的论点是什么？ 8. 在人类历史上，有许多案例表明技术优势最初只出现在世界的某个地方。据我所知，这从未导致*单一*国家试图创造永久优势。核不扩散（可能与GPU禁令最相似的案例）并未被用来通过威胁轰炸所有不遵守者来获取永久经济优势，也没有阻止多个行为体在不同时间点获得该技术，而没有一方轰炸另一方来阻止其进步。此外，我不认为AI最大的危险来自政府驱动的行为。我倒希望这是最危险的场景！政府会做蠢事，常常咄咄逼人，其行为甚至导致过种族灭绝，但这需要很多人同意做可怕的事，这本身就是一个限制因素。最大的问题出现在另外两种情况：A）少数个体引发了一场大灾难（病毒案例），B）AI本身脱离了构建它的人的控制。 我认为我们不应认为AI是安全的。可能导致智人灭绝的关键事件是可能的，但危险不在于开放模型，也不在于中国比美国进步更快。危险在于，少数CEO（遍布世界各地）没有所需的背景和合法性，却处在为全人类做出艰难抉择的位置上。他们并非被选出来做这件事；只是事件的随机性创造了这种格局。考虑到利害关系，他们不能仅仅因为拥有GPU和金钱就代表所有人发言。这是首先应该被纠正的问题。 —— 博客评论由Disqus (https://disqus.com/) 提供