论文页面 - Focused Omni-Modal GUI Agents

来源：https://huggingface.co/papers/2610.26203

摘要

FocusGUI 是一个轻量级适配器，它能动态选择与 GUI 智能体相关的多模态证据，避免无关上下文导致的误差累积，从而在不微调骨干网络的情况下提升动作准确率。

图形用户界面（GUI）智能体越来越多地在流式全模态观测（https://huggingface.co/papers?q=omni-modal%20observations）之上执行操作，这些观测涵盖截图、音频、视频、交互历史和设备状态。然而，在每一步都统一暴露完整上下文，会忽略相关性是瞬时且稀疏的这一事实：决定某个动作的信号在下一步可能就变成了干扰。由于已执行的动作会反馈进上下文，这些误差会累积为序列性分心（Sequential Distraction，https://huggingface.co/papers?q=Sequential%20Distraction），将智能体推向不可逆的轨迹漂移。我们将底层需求表述为聚焦感知（Focused Perception，https://huggingface.co/papers?q=Focused%20Perception）：一种逐步自适应、对动作充分且非侵入式的表示。我们通过 FocusGUI（https://huggingface.co/papers?q=FocusGUI）实现了这一点，它是一个轻量级适配器（adapter，https://huggingface.co/papers?q=adapter），针对每一步特定的决策参考动态地对多模态通道（multimodal channels，https://huggingface.co/papers?q=multimodal%20channels）进行优先级排序。它不再均匀处理所有输入，而是将最相关的证据压缩成一个紧凑的隐变量（latent，https://huggingface.co/papers?q=latent），并将其微妙地注入冻结解码器（frozen decoder，https://huggingface.co/papers?q=frozen%20decoder）的嵌入（embeddings，https://huggingface.co/papers?q=embeddings）中，在不改变模型原生参数空间的前提下引导其注意力。FocusGUI（https://huggingface.co/papers?q=FocusGUI）仅通过动作监督（action supervision，https://huggingface.co/papers?q=action%20supervision）进行训练，既不需要模态相关性标签，也不需要对骨干网络进行微调（backbone fine-tuning，https://huggingface.co/papers?q=backbone%20fine-tuning）。在四种全模态骨干模型上，与冻结的骨干网络相比，它平均将总体类型匹配率（Type Match）提升 +33.2，精确匹配率（Exact Match）提升至 3.0 倍；与现有最强的增强方法相比，类型匹配率提升 +30.1。

查看 arXiv 页面 (https://arxiv.org/abs/2610.26203) 查看 PDF (https://arxiv.org/pdf/2610.26203) 项目页面 (https://fyzhang1.github.io/FocusGUI/) GitHub4 (https://github.com/fyzhang1/FocusGUI) 添加到收藏夹 (https://huggingface.co/login?next=%2Fpapers%2F2610.26203)

在你的智能体中获取这篇论文：

hf papers read 2610\.26203

没有最新版 CLI？curl \-LsSf https://hf\.co/cli/install\.sh \| bash

引用本文的模型 0

没有模型链接到本文

在模型的 README.md 中引用 arxiv.org/abs/2610.26203，即可从此页面链接到该模型。

引用本文的数据集 0

没有数据集链接到本文

在数据集的 README.md 中引用 arxiv.org/abs/2610.26203，即可从此页面链接到该数据集。

引用本文的 Spaces 1

包含本文的收藏夹 0

没有收藏夹包含本文

将本文添加到收藏夹 (https://huggingface.co/new-collection) 即可从此页面链接到它。