推进AI对齐领域的独立研究

# 推进人工智能对齐领域的独立研究 来源：https://openai.com/index/advancing-independent-research-ai-alignment/ 随着人工智能系统能力的不断增强和自主性的提升，对齐研究不仅需要跟上步伐，还需扩大其多样性。在 OpenAI，我们高度重视前沿对齐与安全研究，因为这对我们的使命至关重要。同时，我们也相信，确保通用人工智能（AGI）安全并造福所有人，绝非单一组织能够完成。我们希望支持在实验室之外可以开展的独立研究和概念性探索。 今天，我们宣布向**对齐项目**（Alignment Project）(在新窗口中打开)（https://alignmentproject.aisi.gov.uk/）提供 750 万美元的资助。该项目是由英国人工智能安全研究所（UK AISI）设立的全球性独立对齐研究基金。文艺复兴慈善基金会（Renaissance Philanthropy）将负责该资助的管理工作。这笔捐款使对齐项目成为迄今为止规模最大的独立对齐研究专项资助之一，并有助于壮大更广泛的独立研究生态。 像 OpenAI 这样的前沿实验室，在开展依赖前沿模型和大量算力的对齐研究方面具有独特优势——这类工作往往很难由独立研究者独立完成。我们将大量内部对齐工作投入到开发可扩展方法上，以确保对齐进展能与能力提升同步。我们相信**迭代部署**（iterative deployment）(https://openai.com/safety/how-we-think-about-safety-alignment/)——在逐步提升能力的同时加强安全防护——有助于及早发现问题，并提供关于哪些方法在实践中有效的具体证据；同时，负责任的发展需要大量与模型构建和部署紧密结合的对齐与安全工作。 与此同时，该领域也受益于对独立、探索性研究的持续投入——这可以拓展思路空间，挖掘新的方向。独立研究仍然至关重要；在许多有益的研究方向上，实验室并不具备比较优势。一个健康的对齐生态，有赖于独立的团队检验不同的假设、发展替代框架，并探索概念性、理论性和天马行空的想法——这些想法未必与任何单一组织的路线图完全吻合。 而且，由于通往 AGI 的进程最终可能依赖于那些改变对齐问题格局、并决定哪些方法最为有效的根本性突破，因此支持那些即使今天的主流方法无法按预期扩展依然有意义的研究至关重要。在那种情景下，拥有一个强大的外部生态，从事基础性、概念性和不相关的工作显得尤为重要。人工智能对齐与安全问题具有前所未有的重要性，我们需要所有人共同努力，因为我们尚不知道随着能力的持续进步，哪些方法将最终被证明最持久。 我们的资助——按当前汇率约合 560 万英镑——将**共同资助对齐项目**（co-fund The Alignment Project）(在新窗口中打开)（https://www.gov.uk/government/news/openai-and-microsoft-join-uks-international-coalition-to-safeguard-ai-development），与其他公共、慈善和行业资助方一起。该基金总额超过 2700 万英镑，旨在支持全球范围内广泛的对齐研究项目组合，涵盖计算复杂性理论、经济理论与博弈论、认知科学、信息论与密码学等多个主题。单个项目的资助金额通常为 5 万至 100 万英镑，还可能获得可选的算力资源和专家支持。 我们的资助不会创建新的项目或遴选流程，也不会影响现有流程；它只是增加了在当前轮次中可以资助的、已经过审核的高质量**项目**（projects）(在新窗口中打开)（http://www.aisi.gov.uk/blog/funding-60-projects-to-advance-ai-alignment-research）的数量。 英国人工智能安全研究所（UK AISI）非常适合主导如此规模和范围的对齐资助。它拥有一个跨政府、学术界、慈善界和业界的成熟跨界联盟，以及一个已经在运行的拨款流程和大量已经过专家评审的提案库。作为英国科学、创新与技术部（DSIT）下属的一家政府研究机构，它还专注于应对严重的 AI 风险，并在运营研究资助项目方面经验丰富。 因为人工智能的未来不会完全按照任何人的预测展开——而且可能发展得非常迅速——我们相信民主化、“AI 韧性”和迭代部署至关重要。在我们继续推进 OpenAI 的前沿对齐与安全研究的同时，随着能力的进步，一个强大、多元、独立的生态来探索互补性方法，将使进展受益。这笔资助正是朝着这个目标迈出的一步。我们期待在该领域进步的过程中，继续与更广泛的研究社区合作。