@KLieret: 你可以自己在 ProgramBench 上进行评估：https://github.com/facebookresearch/ProgramBench/… 我们将开放排行榜…

X AI KOLs Following 2026/05/12 15:02 论文

benchmark language-models program-reconstruction ai-agents open-source

摘要

ProgramBench 是一个新的基准测试，用于测试 AI 智能体从编译后的二进制文件及其文档中重建完整代码库的能力。排行榜即将开放提交。

你可以自己在 ProgramBench 上进行评估：https://github.com/facebookresearch/ProgramBench/… 我们将很快开放排行榜供提交。

查看原文

查看缓存全文

缓存时间: 2026/05/14 04:29

ProgramBench

仅凭编译后的二进制文件及其文档，AI代理必须架构并实现一个完整的代码库，以复现原始程序的行为。

TLDR AI

ProgramBench 是一项全新的基准测试，用于评估 AI 智能体在无法获取源代码或反编译工具的情况下，仅凭编译后的二进制文件和文档重建完整软件项目的能力。

X AI KOLs Timeline

正式发布 MLS-Bench，这是首个获得社区广泛采用的 AI4Research 基准测试，它在 12 个领域的 140 个可执行任务上测试 AI 智能体，以提出模块化的机器学习改进方案。该帖子还包含 Claude Opus 4.6 和 GPT-5.4 等模型的排行榜分数。

Hacker News Top

ProgramBench Vetted 是一个包含50个任务的基准，用于评估AI代理从可运行二进制文件重构程序的能力，旨在研究长上下文协调并为强化学习提供密集奖励。

X AI KOLs Following

ProgramBench 是一个代理从头开始复现真实软件行为的基准测试。Factory 被宣布为最先进的逆向工程系统，在模型无关的长期代理方面取得了突破。

Reddit r/MachineLearning

Meta的超级智能实验室推出ProgramBench，这是一个评估最先进AI模型能否在没有互联网接入的情况下从零复现诸如ffmpeg和SQLite等真实可执行程序的基准测试。