UI-MOPD：面向持续GUI智能体学习的多平台在线策略蒸馏

Hugging Face Daily Papers 论文
gui-agent continual-learning distillation multi-platform cross-platform

摘要

本文提出UI-MOPD方法，将多教师在线策略蒸馏与持续学习相结合，用于跨平台训练GUI智能体，同时介绍了Uni-GUI数据集。该方法在OSWorld和MobileWorld上分别达到38.2%和12.0%的任务成功率，展示了有效的跨平台能力保持与适应。

Recent advances in multimodal foundation models and agent systems have driven GUI agents from single-platform task execution toward cross-platform interaction. However, building multi-platform GUI agents remains challenging. On one hand, high-quality and executable cross-platform interaction trajectories are still scarce, and existing data often suffer from limited platform coverage. On the other hand, different platforms exhibit distinct interaction conventions, making joint or continual training prone to behavioral pattern mixing, platform-specific capability degradation, and catastrophic forgetting. To address these challenges, we construct Uni-GUI, a high-quality cross-platform GUI interaction dataset, and propose UI-MOPD, the first method that incorporates multi-teacher on-policy distillation into continual learning for GUI agents. UI-MOPD dynamically selects a platform-specific teacher according to the current environment and transfers platform-specific behavioral priors to a shared policy through platform-conditioned distillation, enabling adaptation to new platforms while preserving capabilities on existing ones. Experiments on OSWorld and MobileWorld show that UI-MOPD achieves task success rates of 38.2% and 12.0%, respectively, demonstrating its effectiveness in balancing cross-platform capability retention and new-platform adaptation. Project page: https://elispectre.github.io/UI-MOPD/.
查看原文
查看缓存全文

缓存时间: 2026/07/07 06:42

论文页面 - UI-MOPD：面向持续GUI智能体学习的多平台同策略蒸馏

来源：https://huggingface.co/papers/2607.04425 作者：

,

,

,

,

,

,

,

,

,

摘要

Uni-GUI数据集与UI-MOPD方法通过多教师同策略蒸馏，解决了数据有限和平台特定能力退化的问题，从而实现了跨平台GUI智能体训练。

近期多模态基础模型（https://huggingface.co/papers?q=multimodal%20foundation%20models）与智能体系统（https://huggingface.co/papers?q=agent%20systems）的进展，推动了GUI智能体（https://huggingface.co/papers?q=GUI%20agents）从单一平台任务执行向跨平台交互（https://huggingface.co/papers?q=cross-platform%20interaction）发展。然而，构建多平台GUI智能体（https://huggingface.co/papers?q=GUI%20agents）仍然充满挑战。一方面，高质量且可执行的跨平台交互（https://huggingface.co/papers?q=cross-platform%20interaction）轨迹依然稀缺，现有数据往往受限于平台覆盖范围。另一方面，不同平台展现出截然不同的交互惯例，这使得联合训练或持续训练容易引发行为模式混合（https://huggingface.co/papers?q=behavioral%20pattern%20mixing）、平台特定能力退化以及灾难性遗忘（https://huggingface.co/papers?q=catastrophic%20forgetting）等问题。为应对这些挑战，我们构建了Uni-GUI——一个高质量的跨平台GUI交互数据集，并提出了UI-MOPD——首个将多教师同策略蒸馏（https://huggingface.co/papers?q=multi-teacher%20on-policy%20distillation）引入GUI智能体（https://huggingface.co/papers?q=GUI%20agents）持续学习（https://huggingface.co/papers?q=continual%20learning）的方法。UI-MOPD根据当前环境动态选择特定平台的教师模型，并通过平台条件蒸馏（https://huggingface.co/papers?q=platform-conditioned%20distillation）将平台特定的行为先验迁移至共享策略，从而在保留现有平台能力的同时，实现对全新平台的适应。在OSWorld和MobileWorld上的实验表明，UI-MOPD分别取得了38.2%和12.0%的任务成功率，证明了其在平衡跨平台能力保留与新平台适应方面的有效性。项目页面：https://elispectre.github.io/UI-MOPD/

查看 arXiv 页面（https://arxiv.org/abs/2607.04425）查看 PDF（https://arxiv.org/pdf/2607.04425）添加至收藏（https://huggingface.co/login?next=%2Fpapers%2F2607.04425）

将这篇论文导入你的智能体：

hf papers read 2607.04425

没有最新CLI？curl -LsSf https://hf.co/cli/install.sh | bash

引用此论文的模型0

没有模型关联此论文

请在模型 README.md 中引用 arxiv.org/abs/2607.04425，以便从此页面建立链接。

引用此论文的数据集0

没有数据集关联此论文

请在数据集 README.md 中引用 arxiv.org/abs/2607.04425，以便从此页面建立链接。

引用此论文的Space0

没有Space关联此论文

请在 Space README.md 中引用 arxiv.org/abs/2607.04425，以便从此页面建立链接。

包含此论文的收藏集0

没有包含此论文的收藏集

请将此论文添加至一个收藏集（https://huggingface.co/new-collection），以便从此页面建立链接。

相似文章

MOPD：面向大语言模型后训练中能力整合的多教师在线策略蒸馏

Hugging Face Daily Papers

MOPD提出了一种用于大语言模型后训练的多教师在线策略蒸馏范式，通过将特定领域的RL教师模型蒸馏到学生模型（使用其自身的采样数据），实现了多领域能力的高效整合。该方案优于Mix-RL和Cascade RL等现有方法，并已在工业级模型中部署。

面向GUI代理的技能引导连续蒸馏

arXiv cs.AI

该论文提出了技能引导连续蒸馏（SGCD），这是一个迭代式自我改进框架，利用技能引导策略在闭环执行过程中为偏离轨迹的状态生成监督信号，将OSWorld-Verified上GUI代理的成功率从约30%提升至超过50%。

UI-TARS-2 技术报告：通过多轮强化学习推进图形用户界面代理

Papers with Code Trending

UI-TARS-2 是一款原生以图形用户界面为中心的代理模型，解决了数据可扩展性、多轮强化学习以及环境稳定性等挑战，在图形用户界面基准测试中取得了领先成果（Online-Mind2Web 88.2 分，OSWorld 47.5 分，WindowsAgentArena 50.6 分，AndroidWorld 73.3 分），优于 Claude 和 OpenAI 代理模型。

基于同伴成功与失败的多 rollout 在策略蒸馏

arXiv cs.LG

提出多 rollout 在策略蒸馏 (MOPD)，一种将教师条件化于同伴成功和失败的 rollout 以提供更密集的 token 级监督进行语言模型后训练的方法，在多个基准上提升了性能。