超级智能的治理

# 超级智能的治理 来源：https://openai.com/index/governance-of-superintelligence/ 有许多想法对我们成功应对这一发展至关重要；在这里，我们阐述了其中三个想法的初步思考。 首先，我们需要在领先的开发团队之间进行某种程度的协调，以确保超级智能的开发方式既能维持安全性，又能帮助这些系统与社会的平稳整合。这可以通过多种方式实现；世界各主要政府可以建立一个项目，让许多当前的开发努力成为其一部分，或者我们可以共同同意（在如下建议的新组织的支持下）将前沿 AI 能力的增长速度限制在每年一定的速率内。 当然，各个公司应该被要求达到极高的负责任行为标准。 其次，我们最终可能需要类似于 IAEA (https://www.iaea.org/) 这样的超级智能开发机构；任何超过一定能力门槛（或计算能力等资源）的开发努力都需要受到国际权威机构的监督，该机构可以进行系统检查、要求审计、测试安全标准的合规性、限制部署程度和安全级别等。追踪计算和能源使用可以大大帮助我们，给我们一些希望相信这个想法可能真的可以实现。作为第一步，公司可以自愿同意开始实施这样的机构最终可能要求的相关要素；作为第二步，各个国家可以实施这一机制。这样的机构重点应该是减少存在性风险，而不是应该留给各个国家决定的问题，比如定义 AI 被允许说什么。 第三，我们需要具备使超级智能安全的技术能力。这是一个 [开放性研究问题](https://openai.com/index/our-approach-to-alignment-research/)，我们和其他机构正在投入大量精力解决。 但最强大系统的治理，以及关于其部署的决策，必须接受强有力的公众监督。我们相信世界各地的人民应该民主地决定 [AI 系统的界限和默认设置](https://openai.com/index/how-should-ai-systems-behave/)。我们还不知道如何设计这样的机制，但我们 [计划进行实验](https://openai.com/index/democratic-inputs-to-ai/) 来开发它。我们仍然认为，在这些广泛的界限内，个人用户应该对他们使用的 AI 的行为方式有很大的控制权。 考虑到这些风险和困难，值得思考我们为什么首先要开发这项技术。 在 OpenAI，我们有两个根本原因。首先，我们相信它将导向一个比我们今天能想象的世界好得多的未来（我们已经在教育、创意工作和个人生产力等领域看到了早期例子）。世界面临许多问题，我们需要更多的帮助来解决；这项技术可以改进我们的社会，每个人使用这些新工具的创意能力肯定会让我们惊叹。经济增长和生活质量的提高将是惊人的。 其次，我们相信停止创建超级智能会带来违反直觉的风险和困难。由于潜在收益巨大，构建成本每年下降，开发的参与者数量迅速增加，并且这在本质上是我们所走技术路径的一部分，停止它将需要类似全球监视制度的东西，即使那样也不能保证成功。因此，我们必须把它做对。