推进低资源编程语言的编码能力

# 推进低资源编程语言的代码能力 来源：https://openai.com/index/low-resource-programming-languages/ 我们最新的模型改进为在 COBOL、Fortran 和 Visual Basic 等低资源编程语言中构建和迁移软件带来了更强大的能力。与 Python 和 JavaScript 等语言相比，这些语言可供模型学习的代码和文档更少，但它们支撑着全球的关键基础设施和重要服务。COBOL [支持](https://www.ibm.com/think/topics/cobol) 超过 40% 的网上银行系统、80% 的线下信用卡交易和 95% 的 ATM 交易，而 Fortran 被用于[天气预报](https://repository.library.noaa.gov/view/noaa/71120)和[核反应堆安全分析](https://www.nrc.gov/education-regulatory-research/research/computer-codes)。提升 AI 在这些语言中的工作能力，可以帮助团队维护和现代化那些重要服务所依赖的软件。 这项工作源于开发者和企业客户的反馈——他们告诉我们，代码模型在这些语言中往往表现不佳。维护和现代化这些软件可能十分困难：文档可能不完整，原始开发者可能已经离开公司，重要的业务规则可能只存在于代码中。无论是修复缺陷还是迁移到其他语言，团队都需要保留其系统所依赖的行为。 为了衡量进展，我们开发了两项评估。MultiLangBench 测试模型能否在 20 种不同的编程语言中从零构建一个 SQLite 兼容的数据库引擎。我们的 COBOL 迁移评估则测试模型能否将现有程序迁移到另一种语言同时保持其行为不变。这两项评估分别检验了两项互补的技能：构建新软件，以及保留现有软件的行为。 我们最新的模型在这两项评估中都取得了显著改进，在成本更低的情况下实现了更高的准确率。 在 MultiLangBench 上，GPT-6 Astra 在 20 种编程语言中的平均测试通过率为 87.4%，相比 GPT-5.6 Sol 的 26.8% 大幅提升，且在所有测试语言中均有进步。GPT-6 Luna 同样超越了 GPT-5.6 Sol，达到 40.3% 的平均通过率，且预估 API 成本降低约 78%。 在 COBOL 迁移评估中，GPT-6.1 Sol 在低推理强度下达到 86.6% 的准确率，而 GPT-5.6 Sol 仅为 5.4%，且成本降低 39%。在更高推理强度下，准确率达到 97.9%，几乎接近评估上限。 这些结果共同表明，我们的模型在处理各种编程语言方面正变得显著更好，同时成本效率也在不断提升。 ## 1. 从零构建 SQLite（MultiLangBench） MultiLangBench 要求模型在指定的编程语言中构建一个 SQLite 兼容的数据库引擎。模型必须组织代码库、管理状态、处理错误，并在保留现有功能的同时添加新特性。 为了跨语言比较实现，我们使用数据库文件作为共享接口。候选程序接收一个初始数据库和一条 SQL 查询，然后输出一个修改后的数据库。我们使用参考 SQLite 实现来验证结果数据库是否包含预期内容。这样无论使用哪种语言构建引擎，我们都可以应用相同的测试。 我们将 SQLite 现有测试套件中的测试改编为此格式。该评估衡量模型在一段较长的编码会话中能构建多少可用功能，同时报告测试通过率和 API 成本。 在最高推理强度下，GPT-6 Astra 在 20 种语言中的平均测试通过率为 87.4%，相比 GPT-5.6 Sol 的 26.8% 大幅提升。改进涵盖所有测试语言，包括 COBOL（10.9% 提升至 72.1%）、OCaml（25.6% 提升至 85.8%）、Fortran（21.4% 提升至 83.5%）和 Visual Basic（27.5% 提升至 89.4%）。Astra 在 20 种语言中有 19 种得分超过 83%，其中 COBOL 仍是最难的，通过率为 72%。 GPT-6 Luna 提供了一种更低成本的选择，同样在所有测试语言中优于 GPT-5.6 Sol。在最高推理强度下，其平均测试通过率达到 40.3%。具体提升包括 COBOL（10.9% 提升至 17.1%）、OCaml（25.6% 提升至 34.1%）、Fortran（21.4% 提升至 31.4%）和 Visual Basic（27.5% 提升至 41.6%）。这些改进的预估平均 API 成本为每样本 0.77 美元，相比 GPT-5.6 Sol 的 3.48 美元降低约 78%。 我们正在 [GitHub](https://github.com/openai/MultiLangBench) 上发布 MultiLangBench 评估环境和测试套件，同时提供每种语言的详细结果。开发者可以查看评估测试的具体内容，了解他们在使用的语言上的表现，并找出对自身工作最重要的差距。 ## 2. 迁移 COBOL 代码库 我们的第二项评估要求模型将 COBOL 程序迁移到 C++、Java、Kotlin、Python 或 Rust，同时保持每个程序的行为不变。 成功的迁移需要同时理解程序的业务逻辑和 COBOL 的特定语言行为。COBOL 程序通常处理金融交易和业务记录，其中诸如舍入规则和缺失记录处理等细节反映了业务需求。例如，COBOL 的定点算术会丢弃多余的小数位，除非明确要求进行舍入。如果重写代码时对这些值进行了舍入，程序可能运行无误，但会产生不同的财务结果。 为了测试这些行为是否得到保留，我们在隐藏测试上对模型进行评估，要求可观察输出逐字节一致。只有所有测试都通过，迁移才被视为成功。这种行为保持能力对于维护和现代化旧系统的团队很有价值，不过将其应用于生产软件仍需专家审查，并针对系统的业务规则和依赖进行测试。 在该评估中，GPT-6.1 Sol 在低推理强度下达到 86.6% 的准确率，而 GPT-5.6 Sol 在相同设置下仅为 5.4%，且 GPT-6.1 Sol 的 API 成本仅为后者的 61%。在更高推理强度下，准确率达到 97.9%，使该评估接近饱和。这些评估结果表明，我们正在朝着更准确、更经济的代码迁移方向迈进，帮助团队现代化其业务所依赖的软件。 ## 推进企业软件能力 这些评估，加上开发者和企业客户的直接反馈，帮助我们了解模型在哪些方面有所改进，以及在哪些方面仍然存在不足。 我们的目标是帮助模型将软件工程能力应用到更多语言中：理解陌生的代码库、规划变更、使用构建工具、运行测试以及调试故障。 您可以通过 API 在团队使用的语言的编码任务中试用我们的最新模型。您对哪些方面有效、模型在哪些地方表现不佳，以及我们应该重点支持哪些语言或工作流的反馈，将帮助我们更好地塑造模型的训练和评估方式，以更好地支持您所依赖的软件。