gui-grounding

提出 ScreenRef 高质量 GUI grounding 数据集（58.6 万张截图、63.3 万条指代表达实例）和蒸馏强化学习（D2RL）训练方法，训练出 GroundGUI-8B，在 ScreenSpot-V2 等多个基准上取得 8B 级模型中的领先性能。

DeskForge 引入了一个可控的桌面环境，通过组合真实应用程序生成 120 万条带稠密标注的桌面观测数据（DeskForge-1M），用于训练计算机操作智能体。在此数据上微调四个视觉语言模型后，在 GUI 定位基准上取得了显著提升（例如 Qwen3.5-4B 在 ScreenSpot-Pro 上提升了 11.51 个百分点），并在长程任务完成率上表现更佳。

本文介绍了GUI-Primitives，这是一个包含994个对比指令对的基准，用于诊断视觉-语言模型在GUI定位中的空间推理失败，揭示了大多数失败源于候选定位而非关系理解。

本文审查了GUI定位评估，揭示高指令-元素嵌入相似性常反映可见标签恢复而非语义定位，并倡导报告词汇基线和诊断信息。

InnerZoom提出了一种单前向框架，用于GUI定位中的跨层证据桥接，在多个基准测试上实现了最先进的性能，同时将延迟降低高达31.8%。

提出面向GUI定位的质量感知自蒸馏方法，通过正确性感知门控和概率缩放改进坐标-标记教师信号，以提升视觉语言模型性能。

VISTA提出了一种用于GUI定位的视图一致自验证训练方法，通过使用多个保留目标的视图改进了基于GRPO的坐标预测，在多个基准测试上实现了持续的精度提升。

DRS-GUI提出了一种免训练的动态区域搜索框架用于GUI定位，通过轻量级UI感知器模拟人类感知行为，并结合蒙特卡洛树搜索逐步定位与指令相关的元素。实验表明，在ScreenSpot-Pro上，通用和GUI专用多模态大语言模型的定位性能提升了14%。

Microsoft 在 Hugging Face 上发布了 Phi-Ground-Any，这是一个用于 GUI 定位的 40 亿参数视觉模型，取得了最先进的结果，使 AI 智能体能够与屏幕元素进行精确交互。