论文页面 - AI代理能否进行开放式AI研究？来自两个案例研究的早期证据

来源：https://huggingface.co/papers/2607.27191 作者：

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

，

摘要

关于AI快速进展的预测依赖于AI代理自动化AI研究。但关于代理能否进行开放式AI研究的证据还很薄弱。目前的评估要么测试代理在狭窄、可验证的任务上（这排除了开放式研究），要么将AI生成的论文提交给盲审评审（这过度紧张、随机且评审质量差）。我们引入了第三种衡量AI研发自动化进展的方法。代理承担一篇高质量未发表论文的核心开放式研究问题，由论文的原作者对其产出进行评分。我们称之为影子评估。我们对两篇未发表的NeurIPS 2026投稿进行了影子评估，为前沿代理提供了六天时间和数千美元的计算资源。代理在没有人类帮助的情况下完成了所有工程工作，但在回答研究问题方面未能取得实质性进展。结果，两篇论文都被作者明确拒绝。我们识别出五个反复出现的失败模式：对可发表研究门槛的判断力差、对研究设计缺陷的应对缺乏创造性、从死胡同中有效回溯的能力不足、资源意识薄弱以及指令漂移。使用第二个模型和支架进行的稳健性检查重现了这些失败。我们发布了专家评审、调查回复、代理仓库和日志。我们的结果提供了早期证据，表明当今的代理能够完成AI研究的工程工作，但在研究生命周期的关键部分仍有困难。

查看arXiv页面 (https://arxiv.org/abs/2607.27191) 查看PDF (https://arxiv.org/pdf/2607.27191) 项目页面 (https://cruxevals.com/) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2607.27191)

引用本论文的模型0

尚无模型链接本论文

在模型README.md中引用arxiv.org/abs/2607.27191以从本页面链接它。

引用本论文的数据集0

尚无数据集链接本论文

在数据集README.md中引用arxiv.org/abs/2607.27191以从本页面链接它。

引用本论文的Space0

尚无Space链接本论文

在Space README.md中引用arxiv.org/abs/2607.27191以从本页面链接它。

包含本论文的收藏集0

暂无包含本论文的收藏集

将本论文添加到收藏集 (https://huggingface.co/new-collection) 以从本页面链接它。