RecreationWorld: 可扩展且可验证的混合计算机使用代理环境

Hugging Face Daily Papers 论文

摘要

RecreationWorld引入了一个用于混合计算机使用代理的可扩展且可验证的框架,提供了跨越五个平台的环境和一个用于评估的基准测试。

计算机使用代理(CUAs)沿着两条独立的路线发展:图形交互和通过代码及命令行进行软件开发。真正的数字工作需要两者交织在一起,而不是端到端堆叠。我们研究混合CUAs,它们能自主决定何时探索界面、实现软件,并运行和可视化验证其成果。我们引入RecreationWorld,一个围绕重现构建的五平台框架:给定一个运行的参考,代理必须发现其行为并构建忠实的实现,没有规定的工作流程。RecreationWorld在Ubuntu、macOS、Windows、Android和Web上提供了可复现的环境,以及一个具有原生GUI控制和编码工具的统一测试平台。运行的参考作为隐藏行为测试的预言机,提供基于执行的奖励。我们使用高质量的开源应用程序扩展轨迹生成。在这些轨迹上训练的模型在五个分布外的编码和混合计算机使用基准测试中有所改进,并更频繁地验证其渲染输出,提供了超越重现的转移证据。为了进行留出评估,我们引入了RecreationBench,包含250个跨领域和平台的多样化任务。基于参考的程序化和可视化断言覆盖了多个交互深度下的动作条件结果;每个都在参考和人工审查员的验证下,在套件冻结用于自动评分之前。GPT-6 Astra以58.1%的总体成绩领先,但仅在2.8%的任务上通过了所有程序化测试。代理在重现静态界面结构方面比交互和计算输出更可靠,而生成的应用程序比参考应用程序更小且更单一。我们发布该基准测试、环境和测试套件。
查看原文
查看缓存全文

缓存时间: 2026/09/21 03:19

论文页面 - RecreationWorld:面向混合计算机使用代理的可扩展、可验证环境

来源:https://huggingface.co/papers/2609.22000 发布于9月18日

#1 每日热门论文 (https://huggingface.co/papers/date/2026-09-21) 作者:

, , , , , , , , , , , , , , , , ,

摘要

计算机使用代理(CUA)的发展沿着两条独立的路径进行:图形界面交互,以及通过代码和命令行进行的软件开发。真正的数字工作需要将两者结合,交叉进行而非简单串联。我们研究的混合CUA能够自主决定何时探索界面、实现软件、以及运行并可视化验证其构建物。我们提出了RecreationWorld,一个围绕“复现”概念构建的五平台框架:给定一个运行中的参考程序,代理必须发现其行为并在无预定工作流的情况下构建忠实的实现。RecreationWorld在Ubuntu、macOS、Windows、Android和Web上提供了可复现的环境,并配备一个集成了原生GUI控制和编程工具的统一测试平台。运行中的参考程序作为隐藏行为测试的预言机,提供基于执行结果的奖励。我们利用高质量的开源应用来扩展轨迹生成。基于这些轨迹训练的模型在五个分布外编码和混合计算机使用基准测试中表现更佳,并更频繁地验证其渲染输出,这证明了超越“复现”本身的迁移能力。为了进行保留评估,我们推出了RecreationBench,包含跨领域和平台的250个多样化任务。基于参考程序的程序化和视觉断言覆盖了多个交互深度下的操作条件结果;每条断言都经过参考程序验证和人类评审员审核,然后基准套件才被冻结用于自动评分。GPT-6Astral以58.1%的整体通过率领先,但在仅2.8%的任务中通过了所有程序化测试。代理复现静态界面结构比复现交互和计算输出更为可靠,而生成的应用程序在规模上仍小于其参考程序,且结构更单一。我们已公开发布该基准、环境和测试套件。

查看arXiv页面 (https://arxiv.org/abs/2609.22000)查看PDF (https://arxiv.org/pdf/2609.22000)GitHub1 (https://github.com/QwenLM/RecreationWorld)添加至收藏集 (https://huggingface.co/login?next=%2Fpapers%2F2609.22000)

在你的代理中获取此论文:

hf papers read 2609\.22000

没有最新的CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

没有模型链接到此论文

在模型README.md中引用arxiv.org/abs/2609.22000,以从该页面链接。

引用此论文的数据集1

Qwen/RecreationBench Viewer• 35分钟前更新 • 500 • 1 (https://huggingface.co/datasets/Qwen/RecreationBench)

引用此论文的Spaces0

没有Space链接到此论文

在Space README.md中引用arxiv.org/abs/2609.22000,以从该页面链接。

包含此论文的收藏集0

没有包含此论文的收藏集

将此论文添加到收藏集 (https://huggingface.co/new-collection)以从该页面链接。

相似文章

OpenComputer:面向计算机使用智能体的可验证软件世界

Hugging Face Daily Papers

OpenComputer 提出了一种框架,用于为计算机使用智能体创建可验证的软件环境,集成了状态验证器、自改进验证层、任务合成以及评估系统,覆盖33个桌面应用程序。实验表明,其验证器与人类判断的一致性优于LLM作为判断者,且前沿智能体在端到端完成方面仍面临困难。

CUA-Gym: 为计算机使用代理扩展可验证的训练环境与任务

Hugging Face Daily Papers

CUA-Gym 引入了一个可扩展的流水线,用于为计算机使用代理生成可验证的训练环境和任务,从而解决数据稀缺问题。由此产生的数据集和模型在OSWorld-Verified和WebArena等基准测试上取得了强劲的性能。