MAI-UI技术报告:以现实世界为中心的基础GUI代理
摘要
MAI-UI技术报告介绍了一系列不同规模的基础GUI代理,通过自演进数据管道、设备云协作和在线强化学习来应对现实世界部署挑战,在GUI定位和移动导航基准测试上取得了最先进的结果。
查看缓存全文
缓存时间: 2026/08/20 21:54
论文详情 - MAI-UI技术报告:以现实世界为中心的基础GUI智能体
来源:https://huggingface.co/papers/2512.22047
摘要
GUI智能体的发展可能彻底改变下一代人机交互。基于这一愿景,我们提出了MAI-UI——一个覆盖全尺寸谱系(包括2B、8B、32B和235B-A22B变体)的基础GUI智能体家族。我们识别出真实场景部署的四大关键挑战:缺乏原生的智能体-用户交互、仅限UI操作的局限性、实用部署架构的缺失以及动态环境中的脆弱性。MAI-UI通过统一方法论应对这些问题:一个自我演进的数据管线,将导航数据扩展以涵盖用户交互和MCP工具调用;一个原生的设备-云端协作系统,根据任务状态路由执行;以及一个采用高级优化技术的在线强化学习框架,用于扩展并行环境和上下文长度。MAI-UI在GUI定位和移动导航领域确立了新的技术前沿。在GUI定位基准测试中,其在ScreenSpot-Pro上达到73.5%、MMBenchGUIL2上91.3%、OSWorld-G上70.9%、UI-Vision上49.2%,超越了Gemini-3-Pro和Seed1.8在ScreenSpot-Pro上的表现。在移动GUI导航方面,其在AndroidWorld上创下76.7%的新最优记录,超过了UI-Tars-2、Gemini-2.5-Pro和Seed1.8。在MobileWorld上,MAI-UI取得41.7%的成功率,显著优于端到端GUI模型,并与基于Gemini-3-Pro的智能体框架表现相当。我们的在线强化学习实验表明,将并行环境从32扩展到512(+5.2个百分点)以及将环境步数预算从15增加到50(+4.3个百分点)带来了显著提升。最后,原生的设备-云端协作系统将设备端性能提升33%,将云端模型调用减少超过40%,并保护了用户隐私。
查看arXiv页面 (https://arxiv.org/abs/2512.22047) 查看PDF (https://arxiv.org/pdf/2512.22047) GitHub2.02k自动 (https://github.com/Tongyi-MAI/MAI-UI) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2512.22047)
将此论文加入你的智能体:
hf papers read 2512.22047
尚未安装最新CLI?curl -LsSf https://hf.co/cli/install.sh | bash
引用本文的模型 6个
Tongyi-MAI/MAI-UI-8B 图文转文本• 9B• 更新于1月9日 • 2.89k • 199 (https://huggingface.co/Tongyi-MAI/MAI-UI-8B)
mlx-community/MAI-UI-8B-bf16 图文转文本• 9B• 更新于3月20日 • 37 (https://huggingface.co/mlx-community/MAI-UI-8B-bf16)
mlx-community/MAI-UI-8B-6bit 图文转文本• 2B• 更新于3月20日 • 22 (https://huggingface.co/mlx-community/MAI-UI-8B-6bit)
mlx-community/MAI-UI-8B-4bit 图文转文本• 2B• 更新于3月20日 • 32 (https://huggingface.co/mlx-community/MAI-UI-8B-4bit)
浏览6个引用本文的模型 (https://huggingface.co/models?other=arxiv:2512.22047) ## 引用本文的数据集 0个
暂无链接到本文的数据集
在数据集的README.md中引用 arxiv.org/abs/2512.22047 以从本页面建立链接。
引用本文的Spaces 0个
暂无链接到本文的Space
在Space的README.md中引用 arxiv.org/abs/2512.22047 以从本页面建立链接。
包含本文的收藏 6个
浏览6个包含本文的收藏 (https://huggingface.co/collections?paper=2512.22047)
相似文章
Qwen-UI-Agent 技术报告:迈向新一代以真实世界为中心的基座 GUI 智能体
Qwen-UI-Agent 是阿里巴巴 Qwen 团队推出的新基座 GUI 智能体,可处理移动、电脑、网页和 DeepSearch 任务,在移动端使用基准测试上达到最先进性能,在电脑/浏览器任务上取得有竞争力的结果,并在统一动作空间内结合 GUI 与 CLI 动作。
UI-Mate:通过上下文演示推进开放权重基础GUI代理
UI-Mate 是一个基础GUI代理,它使用环境接地训练和上下文演示来提高在长期办公任务中的可靠性,并在计算机使用基准测试中取得了最先进的成果。
Xiaomi-GUI-0 技术报告
本技术报告介绍了Xiaomi-GUI-0,一个原生多模态GUI智能体,在真实设备环境中使用混合基础设施和渐进式训练管道进行训练和评估,在真实移动任务上实现了高成功率和改进的稳定性。
UI-TARS-2 技术报告:通过多轮强化学习推进图形用户界面代理
UI-TARS-2 是一款原生以图形用户界面为中心的代理模型,解决了数据可扩展性、多轮强化学习以及环境稳定性等挑战,在图形用户界面基准测试中取得了领先成果(Online-Mind2Web 88.2 分,OSWorld 47.5 分,WindowsAgentArena 50.6 分,AndroidWorld 73.3 分),优于 Claude 和 OpenAI 代理模型。
Macaron-A2UI:面向个人智能体的生成式UI模型
介绍了Macaron-A2UI,一种用于个人智能体的生成式UI模型,可综合动态界面与轻量级可执行操作,超越纯文本聊天。本文引入大规模语料库、A2UI-Bench基准,并使用LoRA微调和强化学习训练了高达754B参数的模型,取得了显著成果。