评估在代码上训练的大型语言模型

# 评估在代码上训练的大型语言模型 来源：https://openai.com/index/evaluating-large-language-models-trained-on-code/ ## 摘要 我们介绍了 Codex，一个在 GitHub 公开代码上微调的 GPT 语言模型，并研究了其 Python 代码生成能力。Codex 的一个独特的生产版本支撑着 GitHub Copilot。在 HumanEval 上（一个我们发布的新评估集，用于衡量从文档字符串合成程序的函数正确性），我们的模型解决了 28.8% 的问题，而 GPT-3 解决了 0%，GPT-J 解决了 11.4%。此外，我们发现从模型中进行重复采样是为困难提示生成有效解决方案的一种令人惊讶的有效策略。使用这种方法，我们每个问题采样 100 次，解决了 70.2% 的问题。对我们模型的仔细调查揭示了其局限性，包括在处理描述长操作链的文档字符串和将操作绑定到变量方面的困难。最后，我们讨论了部署强大代码生成技术的潜在更广泛影响，涵盖安全性、保障和经济学方面。