为 AGI 及其未来做好准备

# 为AGI及其未来做好准备 来源: https://openai.com/index/planning-for-agi-and-beyond/ 我们认为现在有几件重要的事情需要做好准备来迎接AGI的到来。 首先，在我们创建越来越强大的系统时，我们希望部署它们并在现实世界中获得操作经验。我们相信这是谨慎推进AGI发展的最佳方式——逐步过渡到有AGI的世界比突然出现要好得多。我们预期强大的AI将大大加快世界进步的速度，我们认为逐步适应这一变化会更好。 逐步过渡给人们、决策者和机构时间来理解正在发生什么，亲身体验这些系统的利弊，适应我们的经济，并制定相关监管措施。这也允许社会和AI共同进化，让人们在风险相对较低的情况下集体确定他们想要什么。 我们目前认为，成功应对AI部署挑战的最好方式是通过快速学习和谨慎迭代形成紧密的反馈循环。社会将面临许多重大问题，如AI系统被允许做什么、如何应对偏见、如何处理就业流失等。最优决策将取决于技术发展的路径，就像任何新领域一样，迄今为止大多数专家预测都错了。这使得在真空中进行规划非常困难。(https://openai.com/index/planning-for-agi-and-beyond/#citation-bottom-B) 一般来说，我们认为AI在世界上的更多使用会带来好处，并希望推动它（通过将模型放在API中、开源它们等）。我们相信民主化的访问也会导致更多更好的研究、权力分散、更多好处，以及更多人贡献新想法。 随着我们的系统越来越接近AGI，我们对模型的创建和部署变得越来越谨慎。我们的决策将需要比社会通常对新技术应用的谨慎程度更高的谨慎，也比许多用户希望的更加谨慎。AI领域的一些人认为AGI（及后继系统）的风险是虚幻的；如果他们最终是对的，我们会很高兴，但我们将按照这些风险是存在性的(https://www.cold-takes.com/ai-could-defeat-all-of-us-combined/)来行动。 在某个时刻，部署的利弊天平（如赋予恶意行为者权力、造成社会和经济混乱、加速不安全的竞争）可能会转向，在这种情况下，我们会显著改变我们关于持续部署的计划。 其次，我们正在努力创建越来越对齐和易于控制的模型。我们从第一版GPT-3这样的模型转变为InstructGPT(https://openai.com/index/instruction-following/)和ChatGPT(https://chat.openai.com/)就是一个早期例子。 特别是，我们认为重要的是社会应该就AI可以被使用的极其宽泛的界限达成一致，但在这些界限内，个别用户应有很大的自由度。我们最终的希望是世界各机构就这些宽泛的界限应该是什么达成一致；在短期内，我们计划进行实验以获取外部意见。世界各机构需要通过额外的能力和经验来加强，以便为AGI的复杂决策做好准备。 我们产品的"默认设置"可能会受到相当的限制，但我们计划让用户轻松改变他们使用的AI的行为。我们相信赋予个人做出自己决定的权力以及思想多样性的内在力量。 随着我们的模型变得更加强大（以及理解我们当前技术何时失效的测试），我们需要开发新的对齐技术(https://openai.com/index/our-approach-to-alignment-research/)。我们短期内的计划是使用AI帮助人类评估(https://openai.com/index/critiques/)更复杂模型的输出并监控复杂系统，长期内是利用AI帮助我们提出更好的对齐技术的新想法。 重要的是，我们认为我们经常必须同时推进AI安全和能力的发展。将它们分开讨论是一个虚假的二元对立；它们在许多方面都是相关的。我们最好的安全工作来自与我们最强大的模型一起工作。也就是说，重要的是安全进度与能力进度的比例应该增加。 第三，我们希望就三个关键问题进行全球对话：如何管理这些系统、如何公平分配它们产生的好处，以及如何公平共享访问。 除了这三个领域，我们还试图以一种使我们的激励与良好结果保持一致的方式来组织我们的结构。我们的章程(https://openai.com/charter/)中有一条条款关于协助其他组织推进安全，而不是在AGI后期开发中与他们竞争。我们对股东能获得的回报有上限，这样我们就不会被激励去尝试无限制地获取价值并冒着可能部署灾难性危险的东西的风险（当然也是为了与社会分享利益）。我们有一个非营利组织管理我们，让我们为人类福祉运营（并可以推翻任何营利性利益），包括让我们做诸如取消对股东的股权义务等事情（如果对安全需要的话），以及赞助世界上最全面的UBI实验。 我们认为像我们这样的努力在发布新系统之前应该接受独立审计；我们将在今年晚些时候更详细地讨论这个问题。在某个时刻，在开始训练未来系统之前获得独立审查可能很重要，最先进的努力应该同意限制用于创建新模型的计算能力增长的速度。我们认为关于AGI努力何时应该停止训练、何时决定模型可以安全发布或何时从生产中撤出模型的公开标准很重要。最后，我们认为重要的是主要世界政府对超过一定规模的训练运行有认知。 我们相信人类的未来应该由人类决定，重要的是与公众分享关于进展的信息。所有试图构建AGI的努力都应受到巨大审查，重大决策应进行公众咨询。 第一个AGI只是智能连续统中的一个点。我们认为很可能进度会从那里继续，可能在很长一段时间内维持我们过去十年所看到的进度速率。如果这是真的，世界可能会变得与今天非常不同，风险可能是巨大的。一个行为不当的超级智能AGI可能会对世界造成严重伤害；一个拥有决定性超级智能领先的专制政权也可能做到这一点。 能加速科学的AI是一个值得思考的特殊情况，可能比其他一切都更有影响力。有可能足够能干来加速自身进步的AGI可能导致重大变化意外快速发生（即使过渡开始缓慢，我们也预期它在最后阶段发生相当快速）。我们认为更缓慢的起飞更容易保持安全，AGI努力之间的协调以在关键时刻放慢速度可能很重要（即使在一个我们不需要这样做来解决技术对齐问题的世界中，放慢速度也可能对于给社会充分的适应时间很重要）。 成功过渡到一个拥有超级智能的世界可能是人类历史上最重要的——也是最充满希望的，也是最可怕的——项目。成功远非有保障，风险（无限的劣势和无限的优势）希望能团结我们所有人。 我们可以想象一个人类繁荣到可能对我们任何人来说都很难充分想象的程度的世界。我们希望为世界贡献一个与这样的繁荣一致的AGI。