论文页面 - FrontierCS 2：计算机科学研发基准

来源：https://huggingface.co/papers/2610.29932 作者：

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

FrontierCS 2 使用隐藏的评估套件，在开放式计算机科学研发任务上评估 LLM 智能体，结果表明，即使是最优秀的智能体，也只能通过约一半的任务.

LLM 智能体 (https://huggingface.co/papers?q=LLM%20agents)能否为计算机科学前沿研发作出贡献？我们推出了 FrontierCS 2 (https://huggingface.co/papers?q=FrontierCS%202)，这是一个包含 48 项开放式任务的基准. 我们选取一篇论文及其作者发布的代码，并删除实现该论文贡献的代码. 被删除的代码成为设定评判标准的人类参考实现. 以往的开放式基准 (https://huggingface.co/papers?q=open-ended%20benchmark)会向每个智能体提供一份问题描述，并在运行结束后对一个程序进行评分. FrontierCS 2 (https://huggingface.co/papers?q=FrontierCS%202)则将智能体置于研究环境中. 智能体接手一个可正常运行的代码仓库，并可随时提交补丁. 对于每个补丁，评判系统都会返回开发套件得分 (https://huggingface.co/papers?q=development-suite%20score)，但评估器、预留的最终评估套件和参考实现均不公开；最终提交将在该套件上与参考实现进行比较并评分. 这些任务横跨 13 个领域，从机器学习系统 (https://huggingface.co/papers?q=machine-learning%20systems)和高性能计算 (https://huggingface.co/papers?q=high-performance%20computing)到数据库、安全和机器人学. 除这 48 项任务外，FrontierCS 2 (https://huggingface.co/papers?q=FrontierCS%202)还保留了一组包含 100 多项任务的私有任务集，将于未来公布. 我们评估了 12 个智能体. 表现最佳的是 Claude Opus 5.5，其运行通过率为 58%. 有 16 项任务没有任何一次运行通过. 得分更高并不等于通过：大多数在最终综合得分上超过参考实现的运行，仍在某些指标或工作负载上未达标. 在智能体与任务共用的能力量表上，中位任务的难度大致相当于最强智能体所能应对的水平.

查看 arXiv 页面 (https://arxiv.org/abs/2610.29932)查看 PDF (https://arxiv.org/pdf/2610.29932)项目页面 (https://frontier-cs.org/)GitHub27 (https://github.com/FrontierCS/FrontierCS-2)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2610.29932)

在你的智能体中获取这篇论文：

hf papers read 2610\.29932

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用这篇论文的模型0

没有模型链接到这篇论文

在模型的 README.md 中引用 arxiv.org/abs/2610.29932，即可在此页面建立指向该模型的链接.

引用这篇论文的数据集0

没有数据集链接到这篇论文

在数据集的 README.md 中引用 arxiv.org/abs/2610.29932，即可在此页面建立指向该数据集的链接.

引用这篇论文的 Space0

没有 Space 链接到这篇论文

在 Space 的 README.md 中引用 arxiv.org/abs/2610.29932，即可在此页面建立指向该 Space 的链接.

收录这篇论文的合集0

没有合集收录这篇论文

将这篇论文添加到合集 (https://huggingface.co/new-collection)，即可在此页面建立指向该合集的链接.