CUA-Master:通过开放世界递归改进扩展计算机操作智能体
摘要
CUA-Master 提出嵌套双环递归改进框架,通过开放世界语料、自催化任务合成与反馈引导的快照回滚重试机制持续提升计算机使用代理(CUA)性能,其 27B 模型在 OSWorld Verified 等基准上取得竞争力表现。
查看缓存全文
缓存时间: 2026/11/03 07:34
论文页面 - CUA-Master:通过开放世界递归改进扩展计算机使用智能体
来源:https://huggingface.co/papers/2611.03126 作者:
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
,
摘要
CUA-Master 利用嵌套递归循环,结合开放世界数据和反馈驱动的重试,持续提升计算机使用智能体在各类基准测试中的表现。
尽管计算机使用智能体(CUA)近期取得了进展,但其发展仍受限于交互数据在多样性、可控性和可靠性方面的不足。此外,传统优化流程缺乏迭代反馈,而现有递归改进方法往往依赖自行生成的经验,限制了能力拓展,并导致收益递减。为应对这些挑战,我们提出了 CUA-Master (https://huggingface.co/papers?q=CUA-Master),这是一个嵌套双循环递归改进 (https://huggingface.co/papers?q=nested%20double-loop%20recursive%20improvement)框架。在系统层面,外层的世界—数据—模型飞轮 (https://huggingface.co/papers?q=world-data-model%20flywheel)持续引入开放世界语料 (https://huggingface.co/papers?q=open-world%20corpus),并利用模型不断变化的弱点来指导后续的数据构建与优化迭代。在数据层面,内层飞轮将开放世界种子任务挖掘与自催化传播 (https://huggingface.co/papers?q=autocatalytic%20propagation)相结合。前者从教学视频中挖掘真实工作流程作为种子任务,并采用视觉—语义双路径轨迹重建 (https://huggingface.co/papers?q=visual-semantic%20dual-path%20trajectory%20reconstruction);后者将这些种子转化为可复用的原语 (https://huggingface.co/papers?q=reusable%20primitives),以可控方式合成多样、复杂且可验证的任务。为实现高效可靠的轨迹采集,我们进一步在多种真实环境中引入了反馈引导的快照回滚重试 (https://huggingface.co/papers?q=feedback-guided%20snapshot-rollback%20retry)机制。大量实验表明,CUA-Master (https://huggingface.co/papers?q=CUA-Master)-27B 在纯 GUI 和 GUI-CLI 混合基准测试 (https://huggingface.co/papers?q=GUI-CLI%20hybrid%20benchmarks)中均取得了具有竞争力的表现,在 OSWorld Verified、OSWorld 2.0、WeaveBench 和 Agents’ Last Exam 上分别获得 80.2、36.9、43.9 和 25.0 分。我们的框架还显著提升了数据合成的质量与效率,并在递归迭代中展现出持续的性能提升。
查看 arXiv 页面 (https://arxiv.org/abs/2611.03126)查看 PDF (https://arxiv.org/pdf/2611.03126)项目页面 (https://xlyu0106.github.io/CUA-Master/)GitHub44 (https://github.com/xlyu0106/CUA-Master)添加到合集 (https://huggingface.co/login?next=%2Fpapers%2F2611.03126)
在你的智能体中获取这篇论文:
hf papers read 2611\.03126
还没有最新版 CLI?curl \-LsSf https://hf\.co/cli/install\.sh \| bash
引用此论文的模型1
yxl66666/CUAMaster-27B 27B• 更新于19分钟前 • 16 • 5 (https://huggingface.co/yxl66666/CUAMaster-27B)
引用此论文的数据集0
没有关联此论文的数据集
在数据集的 README.md 中引用 arxiv.org/abs/2611.03126,即可从此页面链接到该数据集。
引用此论文的 Spaces0
没有关联此论文的 Space
在 Space 的 README.md 中引用 arxiv.org/abs/2611.03126,即可从此页面链接到该 Space。
包含此论文的合集0
没有包含此论文的合集
将此论文添加到合集 (https://huggingface.co/new-collection),即可从此页面链接到该合集。
相似文章
SoftwareGym:通过多样化的合成软件环境扩展计算机使用智能体训练
SoftwareGym提出了一个自动化流水线,用于合成多样化的GUI软件环境以训练计算机使用代理(CUAs),合成182个应用并构建了SoftwareGym-Bench评测套件,在OSWorld基准上将Pass@3从41.39%提升至56.97%。
通过用户手册使计算机使用代理适应新软件
论文提出 MAGE 框架,利用用户手册作为可扩展的程序性知识来源,同时改进计算机使用代理(CUA)的推理与训练,在六个应用上提升了任务成功率并减少了对人工标注数据的依赖。
NorthCUA 技术报告:通过规模化经验为计算机使用智能体注入强大动力
NorthCUA 技术报告提出了一套集成系统,通过经验飞轮、递归自我改进、分阶段学习和强化学习来扩展计算机使用智能体,其 Nano、Mini 和 Pro 模型系列在 GUI 定位、桌面执行和 Web 交互方面取得了开源模型中的最先进结果。
PersonaCUABench:面向多样化用户画像的计算机使用代理评测基准
论文提出 PersonaCUABench,通过 74 个任务和 44 个不同用户画像来评估计算机使用代理(CUA)。研究发现,与原始指令相比,任务完成率平均下降 36%,表明 CUA 在满足真实用户的个性化需求和约束方面仍存在显著不足。
PRO-CUA:面向计算机使用代理的过程奖励优化
本文介绍了PRO-CUA,一种使用迭代步骤级强化学习训练计算机使用代理(CUA)的过程奖励优化框架。该方法将同策略环境交互与策略优化解耦,实现了密集的信用分配,无需依赖专家轨迹,并在实时网络基准测试中展示了有效性。