论文页面 - GUICrafter: 利用海量未标注截图的弱监督GUI智能体

来源: https://huggingface.co/papers/2606.29705

摘要

GUICrafter 通过一种弱监督方法来解决 GUI 智能体的数据挑战，该方法利用未标注截图，并采用两阶段课程学习框架进行视觉定位和强化学习校准。

作为现代智能的基础基质，数据极大地推动了当前基础模型的发展。自然地，研究人员希望将这一范式扩展到 GUI 智能体领域，期望通过类似的范式构建强大的 GUI 智能体。然而，GUI 智能体数据无法直接从互联网获取，使得大规模收集成本高昂且困难。因此，当前的 GUI 智能体面临跨设备泛化能力差以及对细粒度 GUI 元素视觉定位能力有限的问题。为了应对 GUI 智能体中的数据挑战，我们提出了 GUICrafter——一种利用海量未标注截图来大幅减少对昂贵人工标注依赖的弱监督 GUI 智能体。GUICrafter 探索了一种用于训练 GUI 智能体的课程学习框架，通过两个渐进阶段进行。首先，模型从大规模未标注截图和网页中学习视觉定位，利用 GUI 交互中固有的丰富上下文信号，无需人工标注。然后，在第二阶段，我们利用少量高质量数据通过强化学习对模型进行校准。实验表明，GUICrafter 在仅使用 0.1% 数据量的情况下，就能达到与 UI-TARS 等先进系统相当甚至更优的性能。此外，在使用相同数量的标注数据时，GUICrafter 超越了所有先前的方法，例如 GUI-R1。代码、数据和模型可在 https://github.com/fansunqi/GUICrafter 获取。

查看 arXiv 页面 (https://arxiv.org/abs/2606.29705) 查看 PDF (https://arxiv.org/pdf/2606.29705) GitHub0 (https://github.com/fansunqi/GUICrafter) 添加到收藏 (https://huggingface.co/login?next=%2Fpapers%2F2606.29705)

在你的智能体中获取这篇论文：

hf papers read 2606\.29705

没有最新的 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用此论文的模型0

暂无模型关联此论文

在模型 README.md 中引用 arxiv.org/abs/2606.29705 以在此页面建立链接。

引用此论文的数据集0

暂无数据集关联此论文

在数据集 README.md 中引用 arxiv.org/abs/2606.29705 以在此页面建立链接。

引用此论文的 Space0

暂无 Space 关联此论文

在 Space README.md 中引用 arxiv.org/abs/2606.29705 以在此页面建立链接。

包含此论文的收藏集0

暂无收藏集包含此论文

将此论文添加到收藏集 (https://huggingface.co/new-collection) 以在此页面建立链接。