META超级智能实验室发布：ProgramBench：最先进的AI能否在没有互联网的情况下从零复现真实可执行程序（ffmpeg、SQLite、ripgrep）？

Reddit r/MachineLearning 论文
benchmark code-generation meta ai-capabilities software-engineering

摘要

Meta的超级智能实验室推出ProgramBench，这是一个评估最先进AI模型能否在没有互联网接入的情况下从零复现诸如ffmpeg和SQLite等真实可执行程序的基准测试。

暂无内容
查看原文

相似文章

ProgramBench（5分钟阅读）

TLDR AI

ProgramBench 是一项全新的基准测试，用于评估 AI 智能体在无法获取源代码或反编译工具的情况下，仅凭编译后的二进制文件和文档重建完整软件项目的能力。