ChatGPT 介绍

# ChatGPT 介绍 来源：https://openai.com/index/chatgpt/ 我们训练了一个名为 ChatGPT 的模型，它以对话方式进行交互。这种对话格式使 ChatGPT 能够回答后续问题、承认错误、质疑不正确的前提，以及拒绝不当请求。 ChatGPT 是 InstructGPT (https://openai.com/index/instruction-following/) 的姊妹模型，InstructGPT 被训练用来遵循提示中的指令并提供详细响应。 我们很高兴推出 ChatGPT 来获取用户反馈，并了解其优势和劣势。在研究预览期间，ChatGPT 的使用是免费的。请在 chatgpt.com (https://chatgpt.com/) 上立即试用。 我们使用人类反馈强化学习 (RLHF) 训练该模型，使用与 InstructGPT (https://openai.com/index/instruction-following/) 相同的方法，但在数据收集设置上有细微差别。我们首先使用有监督微调训练了一个初始模型：人类 AI 训练员提供了他们扮演用户和 AI 助手两个角色的对话。我们让训练员能够访问模型生成的建议，以帮助他们编写响应。我们将这个新的对话数据集与 InstructGPT 数据集混合，并将其转换为对话格式。 为了创建用于强化学习的奖励模型，我们需要收集比较数据，其中包含按质量排序的两个或多个模型响应。为了收集这些数据，我们使用了 AI 训练员与聊天机器人进行的对话。我们随机选择一条模型生成的消息，采样几个替代完成项，并让 AI 训练员进行排序。使用这些奖励模型，我们可以使用近端策略优化 (https://openai.com/index/openai-baselines-ppo/) 微调模型。我们对此过程进行了多次迭代。 ChatGPT 基于 GPT-3.5 系列中的模型进行微调，该模型在 2022 年初完成了训练。你可以在此处 (https://beta.openai.com/docs/model-index-for-researchers) 了解更多关于 3.5 系列的信息。ChatGPT 和 GPT-3.5 都在 Azure AI 超级计算基础设施上进行了训练。 - ChatGPT 有时会写出听起来合理但不正确或荒谬的答案。修复这个问题很有难度，因为：(1) 在强化学习训练期间，目前没有事实来源；(2) 训练模型更加谨慎会导致它拒绝它实际能够正确回答的问题；(3) 有监督的训练会误导模型，因为理想答案取决于模型知道什么 (https://www.alignmentforum.org/posts/BgoKdAzogxmgkuuAt/behavior-cloning-is-miscalibrated) 而不是人类演示者知道什么。 - ChatGPT 对输入措辞的微调或多次尝试相同的提示很敏感。例如，对于一个问题的某种表述，模型可能声称不知道答案，但换一个略微不同的措辞，就能正确回答。 - 该模型通常过于冗长，过度使用某些短语，如重复说明它是由 OpenAI 训练的语言模型。这些问题源于训练数据中的偏差（训练员更喜欢看起来更全面的更长答案）和众所周知的过度优化问题。1 (https://openai.com/index/chatgpt/#citation-bottom-1),2 (https://openai.com/index/chatgpt/#citation-bottom-2) - 理想情况下，当用户提供模糊查询时，模型应该提出澄清问题。但我们目前的模型通常会猜测用户的意图。 - 虽然我们已努力使模型拒绝不当请求，但它有时会对有害指令做出响应或表现出有偏差的行为。我们使用 Moderation API (https://openai.com/index/new-and-improved-content-moderation-tooling/) 来警告或阻止某些类型的不安全内容，但我们预计现在会有一些假负例和假正例。我们渴望收集用户反馈，以帮助我们进行相关工作来改进这个系统。 今天发布的 ChatGPT 研究版本是 OpenAI 逐步部署 (https://openai.com/index/language-model-safety-and-misuse/) 越来越安全和有用的 AI 系统的最新步骤。来自 GPT-3 和 Codex 等早期模型部署的许多经验教训为此版本中的安全缓解措施提供了信息，包括通过使用人类反馈强化学习 (RLHF) 实现的有害和不真实输出的大幅减少。 我们知道如上所述存在许多限制，我们计划定期更新模型以在这些方面进行改进。但我们也希望通过为 ChatGPT 提供易于访问的界面，我们能获得关于我们尚未意识到的问题的宝贵用户反馈。 鼓励用户通过 UI 对有问题的模型输出以及外部内容过滤器（也是界面的一部分）的假正例/假负例提供反馈。我们特别感兴趣的反馈包括在真实的、非对抗性条件下可能出现的有害输出，以及帮助我们发现和理解新颖风险及可能的缓解措施的反馈。你可以选择参加 ChatGPT 反馈竞赛 (https://cdn.openai.com/chatgpt/chatgpt-feedback-contest.pdf)3 (https://openai.com/index/chatgpt/#citation-bottom-3) 来赢得高达 $500 的 API 额度。A (https://openai.com/index/chatgpt/#citation-bottom-A) 可以通过 ChatGPT 界面中链接的反馈表单提交参赛作品。 我们很高兴能将此版本中的经验应用到更强大系统的部署中，就像早期部署为这次部署提供信息一样。