论文页面 - WeaveBench：面向混合接口计算机使用智能体的长时程真实世界基准

来源：https://huggingface.co/papers/2606.09426

摘要

WeaveBench 提供了一个综合性基准，用于在多种接口上评估计算机使用智能体，揭示了长时程任务编排中的显著挑战，并凸显了传统性能评估方法的局限性。

计算机使用智能体（https://huggingface.co/papers?q=Computer-use%20agents，CUAs）越来越多地在结合可视化桌面控制、命令行执行、代码编辑、浏览器及外部工具的运行时环境中运行。然而，现有基准通常将这些接口作为可分离的能力进行评估，导致长时程跨接口编排测试不足。为此，我们提出了 WeaveBench——一个长时程混合接口基准（https://huggingface.co/papers?q=hybrid-interface%20benchmark），包含 8 个真实工作领域（https://huggingface.co/papers?q=real-world%20work%20domains）中的 114 项任务，所有任务均基于真实用户请求和可公开验证的产物。每项任务要求智能体在单条轨迹中结合图形用户界面观察（https://huggingface.co/papers?q=GUI%20observations）/操作与命令行/代码操作。我们在部署了 CLI 智能体运行时的真实 Ubuntu 桌面上评估这些任务，并辅以最小化的桌面控制插件。我们还提出了一种配套的轨迹感知裁判（https://huggingface.co/papers?q=trajectory-aware%20judge），用于检查交付物、文件、截图、日志和动作痕迹，同时检测快捷行为，例如伪造的视觉证据或硬编码指标。在前沿模型-运行时配对中，最佳通过率仅为 41.2%，表明该基准远未饱和。轨迹感知裁判进一步揭示，仅依据结果评分会（https://huggingface.co/papers?q=outcome-only%20grading）显著高估智能体性能。总体而言，WeaveBench 暴露了 CUA 评估中的关键差距，并提供了一个有效的测试平台，用于衡量智能体能否在长时程真实世界任务中协调 GUI、CLI 和代码操作。

查看 arXiv 页面（https://arxiv.org/abs/2606.09426）查看 PDF（https://arxiv.org/pdf/2606.09426）项目页面（https://weavebench.github.io/）GitHub（https://github.com/weavebench/WeaveBench）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.09426）

在您的智能体中获取此论文：

hf papers read 2606.09426

还没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型

0
没有模型链接此论文
在模型的 README.md 中引用 arxiv.org/abs/2606.09426 即可从本页链接。

引用此论文的数据集

1

wanlilll/WeaveBench 更新于3天前 • 1.13k • 5（https://huggingface.co/datasets/wanlilll/WeaveBench）

引用此论文的 Spaces

0
没有 Space 链接此论文
在 Space 的 README.md 中引用 arxiv.org/abs/2606.09426 即可从本页链接。

包含此论文的收藏

0
没有包含此论文的收藏
将此论文添加到收藏（https://huggingface.co/new-collection）即可从本页链接。