论文页面 - 超越最终分数：对长期人工智能研发代理的系统性评估

来源：https://huggingface.co/papers/2608.13417 发布于8月13日

#3 每日论文 (https://huggingface.co/papers/date/2026-08-17) 作者：

,

,

,

,

,

,

,

,

,

,

,

摘要

前沿自主代理在工程优化方面表现出色，但在长期任务中表现出性能不稳定、创新性有限以及经验复用可变性等问题。

自主代理 (https://huggingface.co/papers?q=Autonomous%20agents)通过长期实验 (https://huggingface.co/papers?q=long-horizon%20experimentation)改进模型、系统和其他技术制品的能力日益增强。然而，要理解这种能力的当前状态，评估必须超越最终分数，因为最终分数既无法揭示进展的得失，也无法表明积累的经验是否改善了后续决策。因此，我们基于一个新框架，对七个前沿模型在36项长期任务上的表现进行了系统性评估。该框架使用基于规则的指标 (https://huggingface.co/papers?q=rule-based%20metrics)，通过方案框架 (https://huggingface.co/papers?q=Solution%20Framing)、执行 (https://huggingface.co/papers?q=Execution) 和反馈控制 (https://huggingface.co/papers?q=Feedback%20Control)来描述运行中行为，并通过受控比较来评估任务内和跨任务的经验复用 (https://huggingface.co/papers?q=experience%20reuse)。结果表明，当前代理更像工程优化器 (https://huggingface.co/papers?q=engineering%20optimizers)，而非完全自主的研究人员：它们能够制定和实施实际解决方案，但其性能在不同运行中差异显著，其最强解决方案主要是对现有技术的调整或组合，而真正的方法论创新 (https://huggingface.co/papers?q=methodological%20novelty)依然罕见。详细分析显示，观察到的性能由多种因素共同塑造，包括导致相似最终结果的不同过程瓶颈、可能帮助或误导后续决策的经验复用 (https://huggingface.co/papers?q=experience%20reuse)，以及影响性能稳定性的运行框架设计 (https://huggingface.co/papers?q=harness%20design)。这些发现为改进模型训练、推理时策略、经验管理和运行框架设计 (https://huggingface.co/papers?q=harness%20design)指明了具体方向。

查看arXiv页面 (https://arxiv.org/abs/2608.13417)查看PDF (https://arxiv.org/pdf/2608.13417)项目页面 (https://yiwei98.github.io/AutoResearchEval)添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2608.13417)

在您的代理中获取此论文：

hf papers read 2608\.13417

没有最新CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有链接此论文的模型

在模型README.md中引用arxiv.org/abs/2608.13417以从此页面链接。

引用此论文的数据集0

没有链接此论文的数据集

在数据集README.md中引用arxiv.org/abs/2608.13417以从此页面链接。

引用此论文的Spaces0

没有链接此论文的Space

在Space README.md中引用arxiv.org/abs/2608.13417以从此页面链接。

包含此论文的收藏0

没有包含此论文的收藏

将此论文添加到收藏夹 (https://huggingface.co/new-collection)以从此页面链接。