我相信AGI应该是一个开源框架，而不是封闭的武器

最让我害怕的是一个被少数有足够财力将其他人排除在外的公司所拥有的AGI。对我来说，答案很明确。AGI应该作为一个开源框架来构建，而不是作为封闭的私人武器。我不是说每个人都应该在第一天就无限制地接触最危险的工具。那将是鲁莽的。我的意思是，核心框架应该是开放的、可检查的、在公开场合测试的，并以普通人真正能看到的治理方式进行管理。闭源的AGI并不能消除危险。它只是把危险藏在金钱、律师、保密协议和企业新闻稿后面。人们常说开源有风险，因为坏人可以利用强大的系统。没错。这种风险是存在的。但闭源也有自己的问题，而人们却表现得好像不存在一样。封闭的AGI仍然会把权力交给某些人。只是把它交给了亿万富翁、政府、大型实验室和资金雄厚的公司。我们真的要说，只有最富有的人才能接触AGI时，它就安全了吗？在我看来，这听起来更像是设门槛，而不是安全。如果AGI成为人类历史上最强大的工具之一，那么它的规则就不应该存在于黑箱之中。你应该能够检查安全系统。你应该能够看到它如何拒绝有害请求，如何处理人权问题，如何报告错误，如何接受审计，以及谁有权更新它。如果一家公司在秘密中控制这一切，那么公众就没有真正的监督。你只会看到一篇精心打磨的博客文章，说一切正常。我不信任那种模式……开源并不意味着混乱。人们说“开源”时，好像就是把一个神一样的模型扔到互联网上，不加限制，然后喊一声“祝你好运”。这不是我要主张的。我在说的是一个开放的框架：开放的安全规则、开放的评估、开放的治理、开放的审计工具、开放的研究和公众评审。危险的部分仍然可以受到控制访问。关键是，这个结构不应该是由少数实验室撰写的私人圣经。因为一旦AGI影响到工作、科学、教育、医学、战争、政治和经济，它就不再只是一个产品。它变成了基础设施。而基础设施需要公众信任。想象一下，如果一家私人公司拥有电力的规则，或者互联网，或者法律体系。你会说这太疯狂了。但面对AGI，人们突然觉得这很正常，因为技术很复杂，CEO们在台上说话很冷静——这让我觉得不对劲。闭源的AGI可以塑造市场，可以自动化研究，可以影响选民，可以帮助监控，可以大规模取代工作，可以让一家公司或一个国家获得对其他人来说荒谬的优势。如果公众无法检查这个系统，公众就无法知道权力真正在哪里。是的，开源的AGI也有风险。我不假装没有。坏人是存在的。有些人会试图滥用任何强大的东西。这就是为什么我们需要强有力的保障措施、严肃的审计、分阶段发布、权限层和公开测试。但我宁愿面对可见的风险，也不愿面对不可见的权力。至少有了开放框架，研究人员可以发现问题，独立团队可以检验说法，较小的国家、大学和公共实验室都可以做出贡献。人们可以挑战设计，而不是崇拜私人公司所说的任何东西。你会得到审查，得到压力，得到问责。封闭的AGI给你的是一扇锁着的门。如果AGI对公众审查来说太危险，那么它对私人所有权来说也太过危险。如果这个系统能够重塑文明，那么文明就应该在谈判桌上有一席之地。不仅仅是投资者，不仅仅是CEO，不仅仅是拥有机密合同的政府。这个框架应该属于全人类。这意味着开放标准、开放的安全测试、开放的对齐研究、出问题时的公开报告、明确的访问规则、明确的自主权限制、来自建造它的公司之外的人的明确监督。并不完美，因为没有什么事完美的，但远比“相信那些从跑得最快中获利的实验室”要好得多。AGI不应该成为一把封闭的武器，由那些能负担得起最大数据中心的人掌握。它应该成为一个围绕人类安全、公共审计和共同进步而构建的开放框架。因为如果这项技术真如人们所说的那样强大，那么把它藏在私人围墙之内就不是安全，而是把未来拱手让给钱包最大的人。你怎么看？感谢任何读到这篇文章的人。