对抗游戏提高语言模型输出的可读性

# 证明者-验证者博弈改进语言模型输出的可读性 来源: https://openai.com/index/prover-verifier-games-improve-legibility/ 确保语言模型生成易于理解的文本对于使其对人们有帮助至关重要，特别是在处理解决数学问题等复杂任务时。 我们发现，当我们将强大模型的问题解决过程仅优化为获得正确答案时，生成的解决方案可能变得更难理解。事实上，当我们要求时间有限的人类评估者评估这些高度优化的解决方案时，他们犯的错误数量是评估较少优化解决方案时的近两倍。这一发现强调了正确性不仅重要，清晰度和人工智能生成文本的易验证性也同样重要。 通过训练高级语言模型生成较弱模型易于验证的文本，我们发现人类也能更有效地评估这些文本——这个过程我们称之为改进可读性。 这就是证明者-验证者博弈发挥作用的地方。这些博弈涉及两个参与者：生成解决方案的"证明者"和检查其准确性的"验证者"。 这种方法不仅对确保输出正确性至关重要，而且对于使人类和其他人工智能系统都能轻松理解和验证输出也是必不可少的。 理解和解决性能与可读性之间的平衡可以导致更有效和更值得信赖的人工智能应用，造福于精确清晰沟通至关重要的广泛领域。