论文页面 - OSWorld-Pro：面向计算机使用智能体的基于过程的评估

来源：https://huggingface.co/papers/2609.24890

作者：

,

,

,

,

,

,

,

,

,

,

摘要

对计算机使用智能体（Computer-Use Agents，CUAs）的评估通常局限于它们在数百步操作后最终产出的结果，并使用功能验证器进行评测，OSWorld 便是如此。然而，这种基于最终状态的性能评估无法揭示智能体在各类任务中失败的方式与原因，掩盖了对后续改进至关重要的洞察。例如，在键盘输入环节出错的智能体，与在图形化用户界面上无法精确执行点击操作的智能体，需要完全不同的改进策略。我们提出 OSWorld-Pro：包含超过 300 个任务、逾 2800 个子目标的数据集，基于超过 67000 条人工标注，以支持对 CUA 进行基于过程的评估。我们采用稳健且与人类判断对齐的 LLM 裁判（LLM-Judge）来评估子目标的完成情况，从而揭示模型在一系列顺序依赖的子目标推进过程中所取得的进展。研究结果表明，即使是最先进的大语言模型在 OSWorld-Pro 上也面临挑战：表现最佳的模型（如 Claude Opus 5）仅取得 75.7% 的成绩，而在 OSWorld 上则为 83.4%。此外，我们识别出了各类模型中关键的、基于过程的失败模式（例如与子目标无关的操作以及基于点击的错误），为提升 CUA 的性能与效率提供了有价值的参考。

查看 arXiv 页面　查看 PDF　加入合集

在智能体中获取此论文：

hf papers read 2609.24890

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型 0

没有模型链接此论文

在模型的 README.md 中引用 arxiv.org/abs/2609.24890，即可将其链接到本页面。

引用此论文的数据集 0

没有数据集链接此论文

在数据集的 README.md 中引用 arxiv.org/abs/2609.24890，即可将其链接到本页面。

引用此论文的 Space 0

没有 Space 链接此论文

在 Space 的 README.md 中引用 arxiv.org/abs/2609.24890，即可将其链接到本页面。

包含此论文的合集 0

没有合集包含此论文

将此论文添加到合集即可将其链接到本页面。