MAI-UI技术报告:以现实世界为中心的基础GUI代理

Papers with Code Trending 论文

摘要

MAI-UI技术报告介绍了一系列不同规模的基础GUI代理,通过自演进数据管道、设备云协作和在线强化学习来应对现实世界部署挑战,在GUI定位和移动导航基准测试上取得了最先进的结果。

GUI代理的发展可能革新下一代人机交互。受此愿景启发,我们推出了MAI-UI,一系列涵盖全尺寸的基础GUI代理,包括2B、8B、32B和235B-A22B变体。我们指出了现实部署的四个关键挑战:缺乏原生代理用户交互、仅UI操作的限制、缺乏实用的部署架构以及在动态环境中的脆弱性。MAI-UI通过统一方法论解决这些问题:一个自演进数据管道,将导航数据扩展到包括用户交互和MCP工具调用;一个原生设备云协作系统,根据任务状态路由执行;以及一个在线强化学习框架,具有高级优化以扩展并行环境和上下文长度。MAI-UI在GUI定位和移动导航领域建立了新的最先进水平。在定位基准测试中,它在ScreenSpot-Pro上达到73.5%,在MMBench GUI L2上达到91.3%,在OSWorld-G上达到70.9%,在UI-Vision上达到49.2%,在ScreenSpot-Pro上超越了Gemini-3-Pro和Seed1.8。在移动GUI导航中,它在AndroidWorld上设置了新的最先进水平为76.7%,超越了UI-Tars-2、Gemini-2.5-Pro和Seed1.8。在MobileWorld上,MAI-UI获得41.7%的成功率,显著优于端到端GUI模型,并与基于Gemini-3-Pro的代理框架相竞争。我们的在线强化学习实验显示,将并行环境从32扩展到512(+5.2个百分点)和将环境步骤预算从15增加到50(+4.3个百分点)带来了显著收益。最后,原生设备云协作系统将设备性能提高了33%,将云模型调用减少了超过40%,并保护了用户隐私。
查看原文
查看缓存全文

缓存时间: 2026/08/20 21:54

论文详情 - MAI-UI技术报告:以现实世界为中心的基础GUI智能体

来源:https://huggingface.co/papers/2512.22047

摘要

GUI智能体的发展可能彻底改变下一代人机交互。基于这一愿景,我们提出了MAI-UI——一个覆盖全尺寸谱系(包括2B、8B、32B和235B-A22B变体)的基础GUI智能体家族。我们识别出真实场景部署的四大关键挑战:缺乏原生的智能体-用户交互、仅限UI操作的局限性、实用部署架构的缺失以及动态环境中的脆弱性。MAI-UI通过统一方法论应对这些问题:一个自我演进的数据管线,将导航数据扩展以涵盖用户交互和MCP工具调用;一个原生的设备-云端协作系统,根据任务状态路由执行;以及一个采用高级优化技术的在线强化学习框架,用于扩展并行环境和上下文长度。MAI-UI在GUI定位和移动导航领域确立了新的技术前沿。在GUI定位基准测试中,其在ScreenSpot-Pro上达到73.5%、MMBenchGUIL2上91.3%、OSWorld-G上70.9%、UI-Vision上49.2%,超越了Gemini-3-Pro和Seed1.8在ScreenSpot-Pro上的表现。在移动GUI导航方面,其在AndroidWorld上创下76.7%的新最优记录,超过了UI-Tars-2、Gemini-2.5-Pro和Seed1.8。在MobileWorld上,MAI-UI取得41.7%的成功率,显著优于端到端GUI模型,并与基于Gemini-3-Pro的智能体框架表现相当。我们的在线强化学习实验表明,将并行环境从32扩展到512(+5.2个百分点)以及将环境步数预算从15增加到50(+4.3个百分点)带来了显著提升。最后,原生的设备-云端协作系统将设备端性能提升33%,将云端模型调用减少超过40%,并保护了用户隐私。

查看arXiv页面 (https://arxiv.org/abs/2512.22047) 查看PDF (https://arxiv.org/pdf/2512.22047) GitHub2.02k自动 (https://github.com/Tongyi-MAI/MAI-UI) 添加至收藏 (https://huggingface.co/login?next=%2Fpapers%2F2512.22047)

将此论文加入你的智能体:
hf papers read 2512.22047

尚未安装最新CLI?curl -LsSf https://hf.co/cli/install.sh | bash

引用本文的模型 6个

Tongyi-MAI/MAI-UI-8B 图文转文本• 9B• 更新于1月9日 • 2.89k • 199 (https://huggingface.co/Tongyi-MAI/MAI-UI-8B)

mlx-community/MAI-UI-8B-bf16 图文转文本• 9B• 更新于3月20日 • 37 (https://huggingface.co/mlx-community/MAI-UI-8B-bf16)

mlx-community/MAI-UI-8B-6bit 图文转文本• 2B• 更新于3月20日 • 22 (https://huggingface.co/mlx-community/MAI-UI-8B-6bit)

mlx-community/MAI-UI-8B-4bit 图文转文本• 2B• 更新于3月20日 • 32 (https://huggingface.co/mlx-community/MAI-UI-8B-4bit)

浏览6个引用本文的模型 (https://huggingface.co/models?other=arxiv:2512.22047) ## 引用本文的数据集 0个
暂无链接到本文的数据集

在数据集的README.md中引用 arxiv.org/abs/2512.22047 以从本页面建立链接。

引用本文的Spaces 0个

暂无链接到本文的Space

在Space的README.md中引用 arxiv.org/abs/2512.22047 以从本页面建立链接。

包含本文的收藏 6个

浏览6个包含本文的收藏 (https://huggingface.co/collections?paper=2512.22047)

相似文章

Xiaomi-GUI-0 技术报告

Hugging Face Daily Papers

本技术报告介绍了Xiaomi-GUI-0,一个原生多模态GUI智能体,在真实设备环境中使用混合基础设施和渐进式训练管道进行训练和评估,在真实移动任务上实现了高成功率和改进的稳定性。

UI-TARS-2 技术报告:通过多轮强化学习推进图形用户界面代理

Papers with Code Trending

UI-TARS-2 是一款原生以图形用户界面为中心的代理模型,解决了数据可扩展性、多轮强化学习以及环境稳定性等挑战,在图形用户界面基准测试中取得了领先成果(Online-Mind2Web 88.2 分,OSWorld 47.5 分,WindowsAgentArena 50.6 分,AndroidWorld 73.3 分),优于 Claude 和 OpenAI 代理模型。

Macaron-A2UI:面向个人智能体的生成式UI模型

Hugging Face Daily Papers

介绍了Macaron-A2UI,一种用于个人智能体的生成式UI模型,可综合动态界面与轻量级可执行操作,超越纯文本聊天。本文引入大规模语料库、A2UI-Bench基准,并使用LoRA微调和强化学习训练了高达754B参数的模型,取得了显著成果。