Superalignment Fast Grants

# 超级对齐快速资助 来源：https://openai.com/index/superalignment-fast-grants/ 我们相信超级智能可能在未来10年内出现。这些AI系统将具有广泛的能力——可能带来巨大益处，但也可能构成很大风险。 目前，我们使用强化学习从人类反馈（RLHF）来[对齐AI系统](https://openai.com/index/instruction-following/)，以确保它们是安全的。然而，对齐未来的超人类AI系统将带来根本上新的、质上不同的技术挑战。 超人类AI系统将能够执行人类无法完全理解的复杂和创意行为。例如，如果超人类模型生成了一百万行极其复杂的代码，人类将无法可靠地评估该代码执行是否安全或危险。现有的依赖人类监督的对齐技术（如RLHF）可能不再足够。**这引出了一个根本性挑战：人类如何引导和信任比自己聪明得多的AI系统？** 这是世界上最重要的未解决技术问题之一。但我们认为通过协同努力，这个问题是可以解决的。有许多有前景的方法和令人兴奋的方向，存在很多低垂果实。我们认为ML研究社区和个人研究者有巨大机会，可以在今天就在这个问题上取得重大进展。 作为我们[超级对齐](https://openai.com/superalignment/)项目的一部分，我们希望汇集世界上最优秀的研究人员和工程师来应对这一挑战——我们特别期待将新人才引入这个领域。