instructgpt

OpenAI 阐述了他们的对齐研究方法，强调了强化学习从人类反馈 (RLHF) 作为他们用于对齐已部署语言模型（如 InstructGPT）的主要技术。他们讨论了以最少计算量实现相比大 100 倍模型的显著偏好，但承认当前的局限性，并提出了一项长期战略，即利用 AI 系统来加速人类无法单独实现的对齐研究。

OpenAI 推出了 InstructGPT，这是一个 GPT-3 的变体，通过人类反馈强化学习 (RLHF) 进行微调，以更好地遵循指令并减少有害输出。一个 1.3B 的 InstructGPT 模型在人类评估者的偏好测试中超过了 175B 的 GPT-3 模型，现已成为 OpenAI API 的默认模型。