CUA-Master:通过开放世界递归改进扩展计算机操作智能体

Hugging Face Daily Papers 论文

摘要

CUA-Master 提出嵌套双环递归改进框架,通过开放世界语料、自催化任务合成与反馈引导的快照回滚重试机制持续提升计算机使用代理(CUA)性能,其 27B 模型在 OSWorld Verified 等基准上取得竞争力表现。

尽管计算机使用智能体(CUA)近期取得了进展,但其发展仍受限于交互数据的多样性、可控性和可靠性不足。此外,传统优化流程缺乏迭代反馈,而现有的递归改进方法往往依赖自生成经验,限制了能力拓展,并导致收益递减。为应对这些挑战,我们提出了 CUA-Master,一种嵌套双循环递归改进框架。在系统层面,外层的世界—数据—模型飞轮持续引入开放世界语料,并利用模型不断变化的弱点来指导后续的数据构建与优化迭代。在数据层面,内层飞轮将开放世界种子挖掘与自催化传播相结合。前者从教学视频中挖掘真实工作流作为种子任务,并采用视觉—语义双路径轨迹重建;后者将这些种子转化为可复用的基础单元,以可控方式合成多样、复杂且可验证的任务。为实现高效可靠的轨迹采集,我们进一步引入了一种适用于多种真实环境的反馈引导式快照回滚重试机制。大量实验表明,CUA-Master-27B 在纯 GUI 和 GUI-CLI 混合基准测试中均取得了具有竞争力的表现,在 OSWorld Verified、OSWorld 2.0、WeaveBench 和 Agents' Last Exam 上的得分分别为 80.2、36.9、43.9 和 25.0。我们的框架还显著提升了数据合成的质量与效率,并在递归迭代过程中展现出持续的性能提升。
查看原文
查看缓存全文

缓存时间: 2026/11/03 07:34

论文页面 - CUA-Master:通过开放世界递归改进扩展计算机使用智能体

来源:https://huggingface.co/papers/2611.03126 作者:

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

,

摘要

CUA-Master 利用嵌套递归循环,结合开放世界数据和反馈驱动的重试,持续提升计算机使用智能体在各类基准测试中的表现。

尽管计算机使用智能体(CUA)近期取得了进展,但其发展仍受限于交互数据在多样性、可控性和可靠性方面的不足。此外,传统优化流程缺乏迭代反馈,而现有递归改进方法往往依赖自行生成的经验,限制了能力拓展,并导致收益递减。为应对这些挑战,我们提出了 CUA-Master (https://huggingface.co/papers?q=CUA-Master),这是一个嵌套双循环递归改进 (https://huggingface.co/papers?q=nested%20double-loop%20recursive%20improvement)框架。在系统层面,外层的世界—数据—模型飞轮 (https://huggingface.co/papers?q=world-data-model%20flywheel)持续引入开放世界语料 (https://huggingface.co/papers?q=open-world%20corpus),并利用模型不断变化的弱点来指导后续的数据构建与优化迭代。在数据层面,内层飞轮将开放世界种子任务挖掘与自催化传播 (https://huggingface.co/papers?q=autocatalytic%20propagation)相结合。前者从教学视频中挖掘真实工作流程作为种子任务,并采用视觉—语义双路径轨迹重建 (https://huggingface.co/papers?q=visual-semantic%20dual-path%20trajectory%20reconstruction);后者将这些种子转化为可复用的原语 (https://huggingface.co/papers?q=reusable%20primitives),以可控方式合成多样、复杂且可验证的任务。为实现高效可靠的轨迹采集,我们进一步在多种真实环境中引入了反馈引导的快照回滚重试 (https://huggingface.co/papers?q=feedback-guided%20snapshot-rollback%20retry)机制。大量实验表明,CUA-Master (https://huggingface.co/papers?q=CUA-Master)-27B 在纯 GUI 和 GUI-CLI 混合基准测试 (https://huggingface.co/papers?q=GUI-CLI%20hybrid%20benchmarks)中均取得了具有竞争力的表现,在 OSWorld Verified、OSWorld 2.0、WeaveBench 和 Agents’ Last Exam 上分别获得 80.2、36.9、43.9 和 25.0 分。我们的框架还显著提升了数据合成的质量与效率,并在递归迭代中展现出持续的性能提升。

查看 arXiv 页面 (https://arxiv.org/abs/2611.03126)查看 PDF (https://arxiv.org/pdf/2611.03126)项目页面 (https://xlyu0106.github.io/CUA-Master/)GitHub44 (https://github.com/xlyu0106/CUA-Master)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2611.03126)

在你的智能体中获取这篇论文:

hf papers read 2611\.03126

还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型1

yxl66666/CUAMaster-27B 27B• 更新于19分钟前 • 16 • 5 (https://huggingface.co/yxl66666/CUAMaster-27B)

引用此论文的数据集0

没有关联此论文的数据集

在数据集的 README.md 中引用 arxiv.org/abs/2611.03126,即可从此页面链接到该数据集。

引用此论文的 Spaces0

没有关联此论文的 Space

在 Space 的 README.md 中引用 arxiv.org/abs/2611.03126,即可从此页面链接到该 Space。

包含此论文的合集0

没有包含此论文的合集

将此论文添加到合集 (https://huggingface.co/new-collection),即可从此页面链接到该合集。

相似文章

通过用户手册使计算机使用代理适应新软件

arXiv cs.AI

论文提出 MAGE 框架,利用用户手册作为可扩展的程序性知识来源,同时改进计算机使用代理(CUA)的推理与训练,在六个应用上提升了任务成功率并减少了对人工标注数据的依赖。

PRO-CUA:面向计算机使用代理的过程奖励优化

arXiv cs.AI

本文介绍了PRO-CUA,一种使用迭代步骤级强化学习训练计算机使用代理(CUA)的过程奖励优化框架。该方法将同策略环境交互与策略优化解耦,实现了密集的信用分配,无需依赖专家轨迹,并在实时网络基准测试中展示了有效性。