PreView:通过预处理视图与线索增强 GUI Grounding

Hugging Face Daily Papers 论文

摘要

PreView 引入了一个辅助预处理器,向 grounding 模型输入与任务相关的裁剪/放大视图以及关于候选目标的视觉和文本线索,在五个基准和三个冻结的 grounding 模型上均提升了 GUI grounding 的性能。

GUI grounding 需要在杂乱的截图中定位小控件,并判断自然语言指令所指的是哪个控件。裁剪与放大可以呈现局部细节,但生成的图像对于目标指向仍可能存在歧义。我们提出 PreView,一种辅助预处理器,在无需对现有 grounding 模型进行额外训练的情况下改善其输入。PreView 准备两类互补的输入特征:用于定位的任务相关视图,以及用于目标理解的候选特定线索。一个训练好的轻量级辅助模型预测并细化中心点,将截图裁剪为局部视图,并对该视图进行放大以实现放大后的 grounding。它还准备一个视觉线索(即带有位置提示的红圈标记)以及描述候选目标身份或功能的文本线索。冻结的 grounding 模型利用这些准备好的输入预测最终的点击位置。在五个基准上,PreView 在不对这些 grounding 模型进行额外训练的情况下,提升了 Qwen3-VL-2B、OS-Atlas-4B 和 Qwen3-VL-4B 的平均 grounding 准确率。大量分析探讨了视图与线索的贡献、中心点细化以及视觉输入预算的影响。
查看原文
查看缓存全文

缓存时间: 2026/10/30 03:16

论文页面 - PreView:通过预处理视图和提示增强 GUI Grounding

来源:https://huggingface.co/papers/2610.33645

大家好,我是论文作者!👋

我们能否通过更好地准备 Grounding 模型的输入来提升 GUI Grounding 的效果?

我们提出了 PreView,一个辅助预处理器,它将任务相关的裁剪放大视图与候选目标的视觉和文本提示相结合。核心思路很简单:放大有助于发现微小的控件,而针对每个候选目标的提示则有助于消除歧义,明确指令指的是哪个控件。

一个训练好的轻量级辅助模型负责准备这些输入,而 Grounding 模型本身保持冻结不动。我们在五个基准测试和三个 Grounding 模型上对 PreView 进行了评估。

欢迎大家讨论这个方法,也很期待听到大家的反馈!

相似文章

VISTA: 视图一致的自验证训练用于GUI定位

Hugging Face Daily Papers

VISTA提出了一种用于GUI定位的视图一致自验证训练方法,通过使用多个保留目标的视图改进了基于GRPO的坐标预测,在多个基准测试上实现了持续的精度提升。

DRS-GUI: 动态区域搜索实现免训练GUI定位

arXiv cs.AI

DRS-GUI提出了一种免训练的动态区域搜索框架用于GUI定位,通过轻量级UI感知器模拟人类感知行为,并结合蒙特卡洛树搜索逐步定位与指令相关的元素。实验表明,在ScreenSpot-Pro上,通用和GUI专用多模态大语言模型的定位性能提升了14%。