用 GPT-4 发现 GPT-4 的错误

# 用GPT-4发现GPT-4的错误 来源: https://openai.com/index/finding-gpt4s-mistakes-with-gpt-4/ 我们基于GPT-4训练了一个名为CriticGPT的模型，用于捕捉ChatGPT代码输出中的错误。我们发现，当人们在CriticGPT的帮助下审查ChatGPT代码时，他们的表现比没有帮助的人好60%。我们正开始将类似CriticGPT的模型集成到我们的RLHF标注流程中，为标注员提供明确的AI辅助。这是朝着能够评估高级AI系统输出的方向迈出的一步，这些输出在没有更好工具的情况下很难被人类评估。 驱动ChatGPT的GPT-4系列模型通过"人类反馈强化学习"(RLHF (https://openai.com/index/chatgpt/))进行对齐调整，以便提供帮助和互动。RLHF的关键部分是收集比较数据，其中被称为AI标注员的人类对不同的ChatGPT回复进行评分对比。 随着我们在推理和模型行为方面的进步，ChatGPT变得更加准确，其错误也变得更加微妙。这使得AI标注员在发现不准确之处时感到困难，从而使驱动RLHF的比较任务变得更加困难。这是RLHF的一个根本局限，随着模型逐渐变得比任何能提供反馈的人都更具知识性，这可能会使模型对齐工作变得越来越困难。 为了应对这一挑战，我们训练了**CriticGPT**来撰写突出ChatGPT答案不准确之处的批评意见。 CriticGPT的建议并非总是正确的，但我们发现它们可以帮助标注员发现比没有AI帮助时更多的模型答案问题。此外，当人们使用CriticGPT时，AI增强了他们的技能，相比人类单独工作能产生更全面的批评，比单独模型工作产生的幻觉错误也更少。在我们的实验中，第二个随机标注员更倾向于喜欢人类+CriticGPT团队的批评意见，而不是没有协助的人的批评意见，比例超过60%。