论文页面 - Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments

来源: https://huggingface.co/papers/2606.14397 作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

一个基于网络的基准测试旨在评估智能体在挑战性场景中的泛化能力，结果揭示了当前智能体系统与人类在时间感知、图形理解和三维推理等能力上的显著差距。

随着智能体系统 (https://huggingface.co/papers?q=agentic%20systems) 不断发展并广泛部署于真实场景，对其能力进行忠实评估的需求日益增长。然而，当前的基准测试 (https://huggingface.co/papers?q=benchmark) 通常构建于常见应用之上，任务相对简单，且仅聚焦于狭窄的能力范围，忽视了更广泛的维度，导致在现代智能体上性能饱和，无法探测其局限性。为此，我们提出了 GauntletBench，一个基于网络的基准测试 (https://huggingface.co/papers?q=web-based%20benchmark)，用于评估智能体在挑战性场景中的泛化能力，重点关注三个未被充分探索的能力维度（时间感知 (https://huggingface.co/papers?q=temporal%20perception)、图形理解 (https://huggingface.co/papers?q=graphical%20understanding) 和三维推理 (https://huggingface.co/papers?q=3D%20reasoning)），覆盖五个较少涉及的专业应用（视频编辑器、工作流构建器、三维建模器、飞行分析器和电路设计器），每个应用包含 20 个视觉密集型任务 (https://huggingface.co/papers?q=vision-intensive%20tasks)（共 100 个）。我们的基准测试 (https://huggingface.co/papers?q=benchmark) 提供了一个模块化管道 (https://huggingface.co/papers?q=modular%20pipeline)，包括一个兼容开源和闭源智能体框架的环境、一个受控的基于网络的应用、一个结构良好的任务套件，以及一个配备多种指标的自动化评估引擎 (https://huggingface.co/papers?q=automated%20evaluation%20engine)。与普遍预期相反，我们的实验结果表明，前沿的智能体系统 (https://huggingface.co/papers?q=agentic%20systems) 距离达到人类水平的表现仍有巨大差距。即使是最先进的智能体，在 GauntletBench 上的成功率也仅为 19.1%，这突显了这些被忽视的能力与泛化方面的局限性。相比之下，非专家人类标注者在我们既具挑战性又可行的任务上成功率超过 80%，揭示了当前智能体能力与复杂真实场景所需能力之间的巨大鸿沟。

查看 arXiv 页面 (https://arxiv.org/abs/2606.14397)查看 PDF (https://arxiv.org/pdf/2606.14397)项目页面 (https://gauntlet-landing-page.vercel.app/)GitHub1 (https://github.com/gauntlet-benchmark/evaluation-harness)加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.14397)

引用此论文的模型0

无模型关联此论文

请在模型 README.md 中引用 arxiv.org/abs/2606.14397 以在此页面建立链接。

引用此论文的数据集0

无数据集关联此论文

请在数据集 README.md 中引用 arxiv.org/abs/2606.14397 以在此页面建立链接。

引用此论文的 Space0

无 Space 关联此论文

请在 Space README.md 中引用 arxiv.org/abs/2606.14397 以在此页面建立链接。

收录此论文的收藏集0

无收藏集收录此论文

请将此论文添加至收藏集 (https://huggingface.co/new-collection) 以在此页面建立链接。