论文页面 - OSWorld2.0：在长期真实世界任务中测试计算机使用智能体的基准

来源：https://huggingface.co/papers/2606.29537

作者：

作者名单略，保持原文英文

摘要

OSWorld 2.0 提供了一个全面的基准测试，用于评估计算机使用智能体在复杂真实工作流程中的表现，揭示了当前智能体在推理和任务完成方面的局限性。

现有的计算机使用基准未能捕捉到真实计算机使用的现实性、复杂性和长期需求，限制了它们揭示前沿智能体局限性的能力。我们推出了 OSWorld 2.0，这是一个包含 108 个长期计算机使用工作流程（https://huggingface.co/papers?q=computer-use%20workflows）的基准，涵盖日常和专业任务，旨在捕捉复杂且具有挑战性的真实世界现象。每个任务都代表一个真实的端到端工作流程，人类用户完成其中位时间约为 1.6 小时，而使用 Claude Opus 4.7 并开启最大思维模式时，平均需要 318 次工具调用（https://huggingface.co/papers?q=tool%20calls），相比之下 OSWorld 1.0 中约为 30 次。OSWorld 2.0 针对真实工作流程中常见但先前基准中未得到充分体现的挑战性现象，包括交互设计挑战（如流式交互和动态环境）以及智能体模式挑战（https://huggingface.co/papers?q=agent-pattern%20challenges）（如跨源推理（https://huggingface.co/papers?q=cross-source%20reasoning）、隐式状态推断（https://huggingface.co/papers?q=implicit-state%20inference）和视觉空间精度（https://huggingface.co/papers?q=visual-spatial%20precision））。任务基于真实的输入工件，并与真实的带状态用户画像数据进行交叉引用，同时包含独立的审计安全敏感执行的安全报告（https://huggingface.co/papers?q=safety%20reports）。在我们主要的 500 步二进制完成指标（https://huggingface.co/papers?q=binary-completion%20metric）下，Claude Opus 4.8 在最大思维模式和批量工具调用（https://huggingface.co/papers?q=tool%20calls）下表现最佳，但仅完成了 20.6% 的任务，部分得分为 54.8%；GPT-5.5 在 token 效率上高得多，但结果稳定在 13% 附近。这些结果表明，当前智能体距离专业级别的计算机使用仍有很大差距：它们并非在基本的 GUI 控制或编码上出错，而是会丢失约束条件、错过任务中途到达的信息、猜测而非询问用户、跳过验证，并且在任务依赖于必须恢复的隐藏状态时最为挣扎。

查看 arXiv 页面（https://arxiv.org/abs/2606.29537）查看 PDF（https://arxiv.org/pdf/2606.29537）项目页面（https://osworld-v2.xlang.ai/）GitHub104（https://github.com/xlang-ai/OSWorld-V2）添加到收藏（https://huggingface.co/login?next=%2Fpapers%2F2606.29537）

在您的智能体中获取此论文：

hf papers read 2606.29537

没有最新的 CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2606.29537 以从本页面链接。

引用此论文的数据集0

无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.29537 以从本页面链接。

引用此论文的 Spaces0

无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2606.29537 以从本页面链接。

包含此论文的收藏集0

无收藏集包含此论文

将此论文添加到收藏集（https://huggingface.co/new-collection）以从本页面链接。