我们的对齐研究方法

# 我们在对齐研究中的方法 来源：https://openai.com/index/our-approach-to-alignment-research/ [人类反馈强化学习](https://openai.com/index/deep-reinforcement-learning-from-human-preferences/)是我们当今部署的语言模型对齐的主要技术。我们训练一类称为 InstructGPT 的模型，这些模型衍生自预训练语言模型（如 GPT-3）。这些模型被训练用来遵循人类意图：既包括指令给出的显式意图，也包括诚实、公平和安全等隐式意图。 我们的结果表明，目前在以对齐为重点的微调方面存在大量低垂之果：InstructGPT 相比大 100 倍的预训练模型更受人类欢迎，而其微调成本不到 GPT-3 预训练计算的 2%，仅需约 20,000 小时的人类反馈。我们希望我们的工作能激励业界增加对大型语言模型对齐的投资，并提高用户对已部署模型安全性的预期。 我们的自然语言 API 是进行对齐研究的一个非常有用的环境：它为我们提供了关于对齐技术在现实世界中实际效果的丰富反馈回路，基于我们客户愿意付费的非常多样化的任务集。平均而言，我们的客户已经更倾向于使用 InstructGPT 而不是我们的预训练模型。 然而，当今的 InstructGPT 版本离完全对齐还很远：它们有时无法遵循简单的指令，不总是诚实的，不能可靠地拒绝有害任务，有时会给出有偏见或有毒的响应。一些客户发现 InstructGPT 的响应创意明显少于预训练模型，这是我们通过在公开可用的基准上运行 InstructGPT 时没有意识到的。我们也在致力于开发对人类反馈强化学习的更详细的科学理解，以及如何改进人类反馈的质量。 对齐我们的 API 远比对齐 AGI 容易，因为我们 API 上的大多数任务对人类监督来说不是很难，而且我们部署的语言模型并不比人类更聪明。我们不期望人类反馈强化学习足以对齐 AGI，但它是我们最感兴趣的可扩展对齐提案的核心构建块，因此完善这种方法是有价值的。 目前还没有已知的无限可扩展的对齐问题解决方案。随着 AI 进步的继续，我们预期会遇到许多在当前系统中尚未观察到的新的对齐问题。其中一些问题我们现在就能预见，而另一些则会是全新的。 我们相信找到无限可扩展的解决方案可能非常困难。因此，我们的目标是采取更实用的方法：构建和对齐一个能够比人类更快、更好地进行对齐研究的系统。 在取得进展的过程中，我们的 AI 系统可以接管越来越多的对齐工作，并最终能够构思、实现、研究和开发比我们现在更好的对齐技术。它们将与人类合作，以确保其后继者更好地与人类对齐。 我们相信，评估对齐研究的难度远低于生成对齐研究，特别是在获得评估协助的情况下。因此，人类研究人员将更多地把精力投入到审查 AI 系统所做的对齐研究，而不是自己生成这些研究。我们的目标是训练模型使其对齐度如此之高，以至于我们可以卸载几乎所有对齐研究所需的认知劳动。 重要的是，我们只需要在相关领域具有人类水平能力的"更狭隘"的 AI 系统就能在对齐研究上与人类一样好。我们预期这些 AI 系统比通用系统或远比人类聪明的系统更容易对齐。 语言模型特别适合用于自动化对齐研究，因为它们"预装"了大量关于人类价值观的知识和信息，这些信息来自互联网阅读。开箱即用，它们不是独立代理，因此不会在世界上追求自己的目标。要进行对齐研究，它们不需要对互联网的无限制访问。然而，许多对齐研究任务可以表述为自然语言或编码任务。 未来版本的 WebGPT、InstructGPT 和 Codex 可以作为对齐研究助手的基础，但它们还不够有能力。虽然我们不知道我们的模型何时会具备足够的能力来有意义地贡献于对齐研究，但我们认为提前开始是很重要的。一旦我们训练出可能有用的模型，我们计划将其提供给外部对齐研究社区。