PreView:通过预处理视图与线索增强 GUI Grounding
摘要
PreView 引入了一个辅助预处理器,向 grounding 模型输入与任务相关的裁剪/放大视图以及关于候选目标的视觉和文本线索,在五个基准和三个冻结的 grounding 模型上均提升了 GUI grounding 的性能。
查看缓存全文
缓存时间: 2026/10/30 03:16
论文页面 - PreView:通过预处理视图和提示增强 GUI Grounding
来源:https://huggingface.co/papers/2610.33645
大家好,我是论文作者!👋
我们能否通过更好地准备 Grounding 模型的输入来提升 GUI Grounding 的效果?
我们提出了 PreView,一个辅助预处理器,它将任务相关的裁剪放大视图与候选目标的视觉和文本提示相结合。核心思路很简单:放大有助于发现微小的控件,而针对每个候选目标的提示则有助于消除歧义,明确指令指的是哪个控件。
一个训练好的轻量级辅助模型负责准备这些输入,而 Grounding 模型本身保持冻结不动。我们在五个基准测试和三个 Grounding 模型上对 PreView 进行了评估。
欢迎大家讨论这个方法,也很期待听到大家的反馈!
相似文章
VISTA: 视图一致的自验证训练用于GUI定位
VISTA提出了一种用于GUI定位的视图一致自验证训练方法,通过使用多个保留目标的视图改进了基于GRPO的坐标预测,在多个基准测试上实现了持续的精度提升。
DRS-GUI: 动态区域搜索实现免训练GUI定位
DRS-GUI提出了一种免训练的动态区域搜索框架用于GUI定位,通过轻量级UI感知器模拟人类感知行为,并结合蒙特卡洛树搜索逐步定位与指令相关的元素。实验表明,在ScreenSpot-Pro上,通用和GUI专用多模态大语言模型的定位性能提升了14%。
GroundGUI:基于高质量数据与蒸馏强化学习的 GUI Grounding
提出 ScreenRef 高质量 GUI grounding 数据集(58.6 万张截图、63.3 万条指代表达实例)和蒸馏强化学习(D2RL)训练方法,训练出 GroundGUI-8B,在 ScreenSpot-V2 等多个基准上取得 8B 级模型中的领先性能。
GUI-Primitives:诊断视觉-语言GUI定位中的空间推理失败
本文介绍了GUI-Primitives,这是一个包含994个对比指令对的基准,用于诊断视觉-语言模型在GUI定位中的空间推理失败,揭示了大多数失败源于候选定位而非关系理解。
一次前向胜过两次:InnerZoom实现精准高效的GUI定位
InnerZoom提出了一种单前向框架,用于GUI定位中的跨层证据桥接,在多个基准测试上实现了最先进的性能,同时将延迟降低高达31.8%。