@KLieret: 你可以自己在 ProgramBench 上进行评估：https://github.com/facebookresearch/ProgramBench/… 我们将开放排行榜…
摘要
ProgramBench 是一个新的基准测试，用于测试 AI 智能体从编译后的二进制文件及其文档中重建完整代码库的能力。排行榜即将开放提交。
查看缓存全文
缓存时间: 2026/05/14 04:29
ProgramBench
语言模型能否从零重建程序？
仅凭编译后的二进制文件及其文档，AI代理必须架构并实现一个完整的代码库，以复现原始程序的行为。
相似文章
ProgramBench（5分钟阅读）
ProgramBench 是一项全新的基准测试，用于评估 AI 智能体在无法获取源代码或反编译工具的情况下，仅凭编译后的二进制文件和文档重建完整软件项目的能力。
META超级智能实验室发布：ProgramBench：最先进的AI能否在没有互联网的情况下从零复现真实可执行程序（ffmpeg、SQLite、ripgrep）？
Meta的超级智能实验室推出ProgramBench，这是一个评估最先进AI模型能否在没有互联网接入的情况下从零复现诸如ffmpeg和SQLite等真实可执行程序的基准测试。
PaperBench：评估AI复现AI研究的能力
OpenAI推出PaperBench，一个评估AI代理复现最先进AI研究能力的基准。该基准通过复现20篇ICML 2024论文，包含8,316个可评分任务。表现最好的模型（Claude 3.5 Sonnet）仅达到21%的复现分数，低于人类博士级别的表现，凸显了当前自主研究能力的局限性。
我为编码智能体的“记忆”构建了一个基准测试，期待他人来挑战它
开发者创建了一个名为 continuity-benchmarks 的新基准测试，用于测试 AI 编码智能体在活跃开发过程中保持与项目规则一致性的能力，解决了现有记忆基准测试的空白——这些测试侧重于语义回忆而非实时架构一致性和多会话行为。
MLE-bench：评估机器学习代理在机器学习工程中的表现
# MLE-bench：评估机器学习代理在机器学习工程中的表现 来源：[https://openai.com/index/mle-bench/](https://openai.com/index/mle-bench/) OpenAI 评估机器学习代理在机器学习工程中的表现 我们推出了 MLE-bench，这是一个用于衡量 AI 代理在机器学习工程中表现如何的基准。为此，我们从 Kaggle 精选了 75 个与 ML 工程相关的竞赛，创建了一个多样化的具有挑战性的任务集合，用于测试真实的 ML 工程