评估代码生成模型经济影响的研究议程

# 代码生成模型经济影响评估研究议程 来源：https://openai.com/index/economic-impacts-research/ OpenAI 正在开发一项研究计划，用于评估代码生成模型的经济影响，并邀请外部研究人员参与合作。在代码上训练的大型语言模型（LLM）能力的快速进步使得研究其对个人、企业和社会的经济影响变得越来越重要。Codex 是 OpenAI 通过在 GitHub 公开提供的数十亿行代码上微调 GPT-3 开发的一个 LLM，已被证明在评估问题样本中生成功能正确代码的概率为 28.8%（Chen et al. 2021）。这可能对编程的未来以及依赖编程的行业经济学产生重要影响。在本文档中，我们制定了一项研究议程，以评估 Codex 对政策制定者、企业和公众关注的经济因素的影响。我们通过强调代码生成模型对软件开发的广泛适用潜力、其他 LLM 随着模型能力的提升而产生重大社会和经济影响的可能性，以及使用 Codex 生成证据并建立可能适用于未来模型经济影响研究的方法论的价值，来证实这一研究议程的合理性。我们提议学术界和政策研究界关注代码生成模型和其他 LLM 的研究，以便关于其经济影响的证据能够为三个关键领域的决策提供信息：部署政策、AI 系统设计和公共政策。为了指导这项研究，我们列举了经济影响领域内的六个优先成果领域，我们打算使用 Codex 进行研究：生产力、就业、技能发展、企业间竞争、消费者价格和经济不平等。对于每个领域，我们简要讨论了以往关于人工智能对这些成果影响的文献，描述了我们认为是三个上述决策领域的关键输入的问题，并提供了可以用 Codex 进行的研究示例。为了推动以这一初步研究议程为基础的工作，我们宣布向外部研究人员发起一份[意向表达征集](https://openai.com/index/economic-impacts/)，邀请他们与 OpenAI 研究人员和客户合作，更好地衡量代码生成模型和其他 LLM 的经济影响。