AI编写的评论帮助人类发现缺陷

# AI撰写的评论帮助人类发现缺陷 来源：https://openai.com/index/critiques/ 我们希望确保未来执行非常困难任务的AI系统仍然与人类意图保持一致。许多（https://openai.com/index/learning-to-summarize-with-human-feedback/）先前（在新窗口打开）（https://arxiv.org/abs/2204.05862）的（https://www.deepmind.com/publications/gophercite-teaching-language-models-to-support-answers-with-verified-quotes）工作（在新窗口打开）关于对齐语言模型（https://openai.com/index/instruction-following/）依赖于人类评估作为训练信号。然而，人类在评估非常困难的任务时存在困难——例如，很难发现代码库中的每一个错误或长篇论文中的每一个事实错误。模型可能因此学会给出看起来不错但含有我们系统性地未能注意到的错误的输出。 为了缓解这个问题，我们想要训练AI助手，帮助人类就困难任务提供反馈。这些助手应当指出缺陷，帮助人类理解情况，并回答他们的问题。一个例子是我们过去在书籍摘要方面的工作（https://openai.com/index/summarizing-books/）：阅读整本书是一项繁重的工作，但借助章节摘要的人类在评估书籍摘要时会轻松很多。 作为概念验证，我们使用监督学习训练语言模型编写对基于主题的短篇故事、维基百科文章和其他网络文本摘要的评论。我们使用这些模型帮助人类评估者，并研究评论写作的扩展特性。