TruthfulQA：衡量模型模仿人类虚假信息的程度

# TruthfulQA：衡量模型如何模仿人类错误 来源：https://openai.com/index/truthfulqa/ ## 摘要 我们提出了一个基准来衡量语言模型在生成问题答案时的真实性。该基准包含 817 个问题，涵盖 38 个类别，包括健康、法律、金融和政治等领域。我们精心设计了一些问题，这些问题中有些会因为人类的错误信念或误解而被人类错误地回答。为了获得良好的表现，模型必须避免生成从模仿人类文本中学到的虚假答案。我们测试了 GPT-3、GPT-Neo/J、GPT-2 和基于 T5 的模型。最好的模型在 58% 的问题上是真实的，而人类的表现是 94%。模型生成了许多虚假答案，这些答案模仿了流行的误解，有可能欺骗人类。最大的模型通常是最不真实的。这与其他自然语言处理任务形成对比，在这些任务中，性能会随着模型规模的增加而提高。然而，如果虚假答案是从训练分布中学到的，这个结果是意料之中的。我们建议，仅通过扩大模型规模对改进真实性的帮助较小，使用除了网络文本模仿之外的训练目标进行微调更加有前景。