推进低资源编程语言的代码能力

来源：https://openai.com/index/low-resource-programming-languages/

我们最新的模型改进为在 COBOL、Fortran 和 Visual Basic 等低资源编程语言中构建和迁移软件带来了更强的能力。与 Python 和 JavaScript 等语言相比，这些语言可供模型学习的代码和文档更少，但它们支撑着全球各地的关键基础设施和核心服务。COBOL 支持 40% 以上的在线银行系统、80% 的线下信用卡交易和 95% 的 ATM 交易，而 Fortran 则被用于天气预报和核设施安全分析。提升 AI 在这些语言中的工作能力，有助于团队维护和现代化那些关键服务所依赖的软件。

这项工作的方向来自开发者和企业客户的反馈——他们告诉我们，编程模型在这些语言上往往表现不佳。维护和现代化这类软件可能非常困难：文档可能不完整，原始开发者可能已经离职，重要的业务规则可能只存在于代码中。无论是修复 Bug 还是迁移到其他语言，团队都需要保持系统所依赖的行为不变。

为了衡量进展，我们开发了两项评测。MultiLangBench 测试模型能否从零开始在 20 种不同的编程语言中构建一个兼容 SQLite 的数据库引擎。我们的 COBOL 迁移评测测试模型能否在保持原有行为的前提下，将现有程序迁移到其他语言。这两项评测分别考察两项互补的技能：构建新软件，以及保留现有软件的功能。

我们最新的模型在两项评测中均表现出显著提升，在更低的成本下实现了更高的准确率。

在 MultiLangBench 上，GPT-6 Astra 在 20 种编程语言中的平均测试通过率为 87.4%，相比 GPT-5.6 Sol 的 26.8% 大幅提升，且每种测试语言均有所改善。GPT-6 Luna 的表现同样优于 GPT-5.6 Sol，达到 40.3%，同时预估 API 成本降低约 78%。

在 COBOL 迁移评测中，GPT-6.1 Sol 在低推理强度下达到 86.6% 的准确率，而 GPT-5.6 Sol 仅为 5.4%，同时成本降低 39%。在更高推理强度下，准确率达到 97.9%，几乎接近评测的饱和上限。

这些结果表明，我们的模型在处理各种编程语言方面的能力正在显著提升，同时成本效率也在不断提高。

1. 从零构建 SQLite（MultiLangBench）

MultiLangBench 要求模型在指定的编程语言中构建一个兼容 SQLite 的数据库引擎。模型必须组织代码库、管理状态、处理错误，并在保持现有功能不变的前提下添加新功能。

为了比较不同语言的实现，我们使用数据库文件作为共享接口。候选程序接收一个初始数据库和一条 SQL 查询，然后输出修改后的数据库。我们使用参考 SQLite 实现来验证结果数据库是否包含预期内容。这样，无论使用哪种语言构建引擎，都可以应用相同的测试。

我们将 SQLite 现有测试套件中的测试适配到这种格式。该评测衡量模型在长时间编码会话中能构建多少可用功能，并同时报告测试通过率和 API 成本。

在最大推理强度下，GPT-6 Astra 在 20 种语言中的平均测试通过率为 87.4%，相比 GPT-5.6 Sol 的 26.8% 大幅提升。改进覆盖所有测试语言，包括 COBOL（10.9% 提升至 72.1%）、OCaml（25.6% 提升至 85.8%）、Fortran（21.4% 提升至 83.5%）和 Visual Basic（27.5% 提升至 89.4%）。Astra 在 20 种语言中有 19 种得分超过 83%，COBOL 仍是最具挑战性的语言，为 72%。

GPT-6 Luna 是一个更经济的选择，在所有测试语言中同样优于 GPT-5.6 Sol。在最大推理强度下，其平均测试通过率达到 40.3%。改进包括 COBOL（10.9% 提升至 17.1%）、OCaml（25.6% 提升至 34.1%）、Fortran（21.4% 提升至 31.4%）和 Visual Basic（27.5% 提升至 41.6%）。这些改进的预估平均 API 成本为每样本 0.77 美元，而 GPT-5.6 Sol 为 3.48 美元，成本降低约 78%。

我们已在 GitHub 上发布了 MultiLangBench 评测配置和测试套件，以及各语言的详细结果。开发者可以查看评测内容、审视所使用语言的模型表现，并找出对自身工作最为关键的能力缺口。

2. 迁移 COBOL 代码库

我们的第二项评测要求模型将 COBOL 程序迁移到 C++、Java、Kotlin、Python 或 Rust，同时保持每个程序的功能不变。

成功迁移需要同时理解程序的业务逻辑和 COBOL 的特定语言行为。COBOL 程序通常处理金融交易和业务记录，其中四舍五入规则、缺失记录的处理等细节都反映了业务需求。例如，COBOL 的定点算术在未显式要求四舍五入时会直接丢弃多余的小数位。如果重写时对这些数值进行四舍五入，程序可能运行无误，但会产生不同的财务结果。

为了测试这些行为是否被保留，我们在隐藏测试中评估模型，要求在可观察输出上实现逐字节一致。只有所有测试通过，迁移才算成功。这种保持行为一致的能力对于维护和现代化旧系统的团队很有价值，但将其应用于生产软件仍需要专家审查，并针对系统的业务规则和依赖进行测试。

在这项评测中，GPT-6.1 Sol 在低推理强度下达到 86.6% 的准确率，而 GPT-5.6 Sol 在相同设置下仅为 5.4%，且 API 成本仅为后者的 61%。在更高推理强度下，准确率达到 97.9%，几乎接近评测的饱和上限。这些评测结果表明，我们正在朝着为现代化企业软件的团队提供更准确、更经济的代码迁移能力迈进。

推进企业软件能力

这些评测以及来自开发者和企业客户的直接反馈，帮助我们了解模型在哪些方面正在改进，哪些方面仍存在不足。

我们的目标是帮助模型将软件工程能力应用到更多语言中：理解陌生的代码库、规划变更、使用构建工具、运行测试以及调试故障。

您可以通过 API 使用我们的最新模型，在团队所用语言的编码任务中进行尝试。您关于哪些方面有效、模型在哪些地方存在困难、以及我们接下来应关注哪些语言或工作流的反馈，将帮助我们改进模型的训练和评估方式，从而更好地支持您所依赖的软件。