DeskForge：为计算机操作智能体提供来自桌面环境的稠密监督

Hugging Face Daily Papers 论文
computer-use-agents gui-grounding dataset vision-language-models synthetic-supervision desktop-automation fine-tuning

摘要

DeskForge 引入了一个可控的桌面环境，通过组合真实应用程序生成 120 万条带稠密标注的桌面观测数据（DeskForge-1M），用于训练计算机操作智能体。在此数据上微调四个视觉语言模型后，在 GUI 定位基准上取得了显著提升（例如 Qwen3.5-4B 在 ScreenSpot-Pro 上提升了 11.51 个百分点），并在长程任务完成率上表现更佳。

计算机操作智能体需要在复杂的桌面场景中可靠地定位动作目标，而此类场景中往往存在多个应用程序、重叠的窗口以及视觉上相似的控件相互竞争注意力。现有的训练数据很少将这类场景与稠密标注结合，也很少以可控的方式对场景进行变化。我们提出了 DeskForge，一个可控的桌面环境，通过组合并探索真实应用程序来生成大规模的计算机操作智能体监督数据。它会改变应用程序的状态、内容、窗口布局、外观和分辨率，并将截图、可访问性树和窗口几何信息融合为稠密的元素标注，同时记录每个已执行动作的结果。利用这一环境，我们构建了 DeskForge-1M，一个包含 120 万条标注桌面观测、共计 1.597 亿个元素实例的语料库。我们从 DeskForge-1M 中抽取 20 万条定位样本，对四个视觉语言模型进行了微调。这四个模型在未见过的桌面条件以及全部五个外部 GUI 定位基准上均有所提升；其中 Qwen3.5-4B 在 ScreenSpot-Pro 上准确率提升了 11.51 个百分点，在 OSWorld-G 上提升了 10.11 个百分点。这些提升也转化为了长程任务完成能力的提高：在固定的规划器下，微调后的动作模型能解决更多的 WebArena-Infinity 和 OpenApps 任务，Qwen3.5-4B 分别从 119 个任务中的 31 个提升至 50 个，以及从 100 个任务中的 3 个提升至 15 个。这些结果表明，对真实桌面环境进行可控的组合，可以作为提升 GUI 定位能力和长程计算机操作能力的可扩展监督来源。框架代码、数据集和微调模型均可在项目主页获取：https://saidgurbuz.github.io/deskforge/
查看原文
查看缓存全文

缓存时间: 2026/10/06 16:56

论文页面 - DeskForge：为计算机使用智能体从桌面环境中获取稠密监督

来源：https://huggingface.co/papers/2610.02320

摘要

计算机使用智能体（computer-use agents）需要在复杂桌面场景中可靠地将动作目标与界面元素进行对齐（grounding），在这样的场景中，多个应用程序、相互重叠的窗口以及视觉上相似的控件会互相争夺注意力。现有的训练数据很少将这类场景与稠密的标注配对，也很少以受控的方式对它们进行变化。我们提出 DeskForge，一个可控的桌面环境，它通过组合与探索真实应用程序，为计算机使用智能体生成大规模监督信号。它能够对应用程序状态、内容、窗口布局、外观和分辨率进行变化，并将截图、无障碍树（accessibility tree）以及窗口几何信息融合为稠密的元素标注，同时记录每个已执行动作的结果。借助这一环境，我们构建了 DeskForge-1M，一个包含 159.7 百万个元素实例、共 120 万条标注桌面观测的语料库。我们在从 DeskForge-1M 中抽取的 20 万条 grounding 样本上对四个视觉-语言模型进行了微调。四个模型在留出的桌面条件上以及全部五个外部 GUI grounding 基准测试上均有所提升；对于 Qwen3.5-4B，其在 ScreenSpot-Pro 上的准确率提升了 11.51 个百分点，在 OSWorld-G 上提升了 10.11 个百分点。这些提升同样转化为长程任务完成能力的提高：在固定的规划器（planner）下，微调后的动作模型能够解决更多 WebArena-Infinity 和 OpenApps 任务，其中 Qwen3.5-4B 分别从 119 个任务中的 31 个提升到 50 个，以及从 100 个任务中的 3 个提升到 15 个。这些结果表明，对真实桌面环境进行可控组合，可以为同时提升 GUI grounding 与长程计算机使用能力提供可扩展的监督来源。该框架的代码、数据集和微调模型均可在项目主页获取：https://saidgurbuz.github.io/deskforge/

[查看 arXiv 页面 (https://arxiv.org/abs/2610.02320)] · [查看 PDF (https://arxiv.org/pdf/2610.02320)] · [项目主页 (https://saidgurbuz.github.io/deskforge/)] · [GitHub 4 (https://github.com/Saidgurbuz/deskforge)] · [加入收藏 (https://huggingface.co/login?next=%2Fpapers%2F2610.02320)]

在你的智能体中获取这篇论文：

hf papers read 2610\.02320

还没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 2

docling-project/DeskForge-Qwen3.5-4B　Image-Text-to-Text • 5B • 1 天前更新 • 32 • 2 (https://huggingface.co/docling-project/DeskForge-Qwen3.5-4B)

docling-project/DeskForge-Gemma4-E4B　Image-Text-to-Text • 8B • 1 天前更新 • 30 • 1 (https://huggingface.co/docling-project/DeskForge-Gemma4-E4B)

引用本文的数据集 1

docling-project/DeskForge-1M　Preview • 1 天前更新 • 229 • 14 (https://huggingface.co/datasets/docling-project/DeskForge-1M)

引用本文的 Spaces 1

收录本文的合集 1

相似文章

GraphForge：通过图锚定工作区合成训练可用的智能体

arXiv cs.CL

GraphForge 提出了一种证据图框架，将智能体的任务生成与验证共同锚定在真实文件之上，从而能够为工作场景中的智能体合成可验证的训练轨迹。在 2,169 条 GraphForge 轨迹上对 Qwen3.6-27B 进行微调后，模型在 GDPVal、Workspace-Bench-Lite 和 SpreadsheetBench II 上均有所提升，而采用拒绝微调（rejection fine-tuning）则能进一步取得增益。