GUI代理是否知晓何时不应行动？实现多模态GUI代理的冲突感知终止

# GUI智能体是否知道何时不该行动？实现多模态GUI智能体的冲突感知终止
来源：https://arxiv.org/html/2609.03438
黄兆元 | 所属机构：上海交通大学计算机科学与学院 | 所属机构：蚂蚁集团 | 邮箱：[huangzhaoyuan@sjtu\.edu\.cn](mailto:[email protected])
鞠天杰 | 所属机构：上海交通大学计算机科学与学院 | 邮箱：[jometeorie@sjtu\.edu\.cn](mailto:[email protected])
程鹏洲 | 所属机构：上海交通大学计算机科学与学院 | 邮箱：[cpztsm520@sjtu\.edu\.cn](mailto:[email protected])
吴政 | 所属机构：上海交通大学计算机科学与学院 | 邮箱：[wzh815918208@sjtu\.edu\.cn](mailto:[email protected])
李研思 | 所属机构：上海交通大学计算机科学与学院 | 所属机构：蚂蚁集团 | 邮箱：[yansili@sjtu\.edu\.cn](mailto:[email protected])
兰君 | 所属机构：蚂蚁集团 | 邮箱：[songchuanbiao\.scb@antgroup\.com](mailto:[email protected])
朱慧佳 | 所属机构：蚂蚁集团 | 邮箱：[yelan\.lj@antgroup\.com](mailto:[email protected])
王维强 | 所属机构：蚂蚁集团 | 邮箱：[huijia\.zhj@antgroup\.com](mailto:[email protected])
张卓晟 | 所属机构：上海交通大学计算机科学与学院 | 邮箱：[weiqiang\.wwq@antgroup\.com](mailto:[email protected])

###### 摘要
图形用户界面（GUI）智能体正越来越多地用于在用户界面上执行自然语言指令，但真实用户可能因无心之失而发出不可行的指令。一个可靠的智能体不仅应该知道如何行动，还应该知道何时不该行动。在这项工作中，我们引入了 **ConflictGUI** 基准，涵盖指令内部冲突和指令与GUI上下文冲突，以研究冲突感知终止。我们的评估揭示了严重的**执行偏见性过度顺从**：在可行任务上表现良好的智能体，在面对冲突指令时往往继续盲目执行。为缓解此行为，我们提出了 **ConflictGuard**，一个在推理时将智能体的可行性感知与其动作生成对齐的框架。**ConflictGuard** 包含两个耦合组件：一个可行性验证协议，指导智能体在行动前评估指令逻辑和GUI侧证据；以及一个条件动作调制机制，引导智能体从过度顺从的执行转向面向终止的行为。在五个广泛使用的智能体上进行的实验表明，**ConflictGuard** 显著提高了平均冲突任务成功率，同时保持了正常的GUI任务性能。这些结果验证了轻量级的推理时干预可以大幅提升GUI智能体识别不恰当执行场景并避免不必要行动的能力。代码和数据集可在 https://github.com/serein356/ConflictGUI 获取。
11脚注：本文工作完成于黄兆元在蚂蚁集团的实习期间。‡通讯作者。本工作得到了上海市自然科学基金（24ZR1440300）和蚂蚁集团研究基金的支持。
参见标题 参见标题
图1：GUI智能体在不可行指令中冲突感知终止的示例。（A）：指令内部冲突，用户指定的应用程序与预期目标不兼容。（B）：指令与GUI上下文冲突，用户请求与当前GUI侧证据不一致。普通智能体倾向于通过执行指令的表面语义来过度顺从，而 **ConflictGuard** 则终止任务并通知用户具体的冲突。

## 1 引言
多模态大型语言模型（MLLMs）使GUI智能体能够感知截图、遵循自然语言指令，并执行点击、输入和滚动等操作（Hong et al., 2024; Wu et al., 2025c; Qin et al., 2025; Xu et al., 2024; Zhang et al., 2025b）。现有基准在评估GUI定位、动作预测和多步任务完成方面取得了巨大进展（Li et al., 2025; Rawles et al., 2023; Li et al., 2024; Zhou et al., 2024; Rawles et al., 2025）。在评估基本执行能力之外，最近关于拒绝定位、可信GUI交互和忠实GUI执行的研究开始探讨在证据缺失或不可靠的情况下，智能体应如何避免行动或寻求确认（Zhou et al., 2025; Team et al., 2026b; Wu et al., 2025d; Wu et al., 2025b; Hu et al., 2026）。然而，用户意图、指令逻辑和GUI上下文之间更广泛的冲突仍未得到充分探索。

在本文中，我们研究**冲突感知终止**：GUI智能体在指令不可行时停止执行的能力。不可行指令通常源于用户无害的失误，但盲目执行它们可能导致不可逆的操作、无意义的执行循环，甚至隐私泄露。为支持系统研究，我们引入了 **ConflictGUI**，一个用于评估GUI智能体冲突感知终止能力的基准。如图1所示，我们关注两种代表性的冲突类型：**指令内部冲突**，其中请求的操作与声明的目标或约束相矛盾；以及**指令与GUI上下文冲突**，其中指令未被当前GUI上下文信息所支持。我们的评估揭示了主流GUI智能体中严重的**执行偏见性过度顺从**问题。结果显示，它们在可行任务上的平均成功率超过70%，但平均冲突成功率仍低于10%。这一差距表明，当前智能体强烈倾向于生成可执行动作，即使指令在逻辑上不一致或未被GUI上下文所支持。定性分析进一步揭示了两种典型的失败模式：**前提盲目执行**，智能体在未检查指令是否有效的情况下行动；以及**感知-动作不匹配**，智能体提及冲突但仍然坚持执行某个动作。

为应对这一挑战，我们提出了 **ConflictGuard**，一个受激活转向（activation steering）启发的推理时框架（Turner et al., 2023; Rimsky et al., 2024; Lee et al., 2025）。**ConflictGuard** 结合了可行性验证协议与条件转向。该协议提示智能体在行动前验证指令逻辑和GUI侧证据，而转向模块仅在冲突条件方向表明用户指令不可行时，激活面向终止的向量加法。实验表明，**ConflictGuard** 在保持正常GUI执行的同时，显著提升了冲突感知终止能力。在五个广泛使用的智能体上，它将冲突成功率提高了超过35个百分点，同时在很大程度上保持了可行任务上的性能。消融实验表明，可行性验证和条件转向是互补的：前者揭示冲突证据，后者将条件信号转化为终止行为，而不在可行任务上强加普遍的拒绝偏见。这些发现表明，冲突感知终止需要将可行性评估与终止动作生成对齐。

我们的贡献总结如下：
- • 我们形式化了GUI智能体的冲突感知终止能力，并引入了 **ConflictGUI** 基准，涵盖指令内部和指令与GUI上下文冲突。
- • 我们揭示了现有GUI智能体中的执行偏见性过度顺从现象，并识别出两种典型失败模式：前提盲目执行和感知-动作不匹配。
- • 我们提出了 **ConflictGuard**，一个推理时框架，引导智能体从过度顺从的执行转向冲突感知终止，同时保持正常执行。

## 2 相关工作
### 2.1 GUI智能体与GUI智能体评估
基于MLLM的GUI智能体在视觉定位、动作预测以及在Web、移动和桌面环境中的长期任务执行方面取得了快速进展（Hong et al., 2024; Wu et al., 2025c; Qin et al., 2025; Xu et al., 2024; Zhang et al., 2025b; Wang et al., 2024; Zhang et al., 2025a; Li et al., 2025）。它们的能力通常通过围绕GUI定位和多步任务完成构建的基准进行评估（Rawles et al., 2023; Li et al., 2024; Xie et al., 2024; Rawles et al., 2025; Chai et al., 2025; Zhang et al., 2024; Li et al., 2025; Koh et al., 2024; Xie et al., 2026; Deng et al., 2023; Lu et al., 2025）。这些评估背后一个常见的隐含假设是，用户指令是格式良好且可执行的，因此成功度量标准是智能体最终是否执行了请求的操作。这留下了一个尚未充分探索的问题：一个动作*是否应该*被执行。

### 2.2 在GUI智能体中知道何时不该行动
另一条互补的研究路线探讨了GUI智能体是否能在特定条件下决定*不*行动。VeriOS使智能体能够在不可靠场景下寻求人类确认（Wu et al., 2025b）。拒绝定位基准如VenusBench-GD引入了不可行的定位案例，智能体应避免定位不支持或模糊的目标（Zhou et al., 2025）。最近的基于证据执行方法进一步鼓励智能体将动作锚定在可见的GUI证据上，而不是表面的指令语义（Team et al., 2026b; Hu et al., 2026）。与这些研究不同，我们关注冲突感知终止：当指令内部不一致或未被GUI上下文支持时，智能体应停止并报告冲突。

### 2.3 用于行为控制的激活转向
激活转向（Activation steering），或称表征工程，通过在推理时干预内部激活来调节模型行为（Turner et al., 2023; Zou et al., 2023）。先前工作表明，Transformer的隐藏状态编码了高级语义和行为属性（Alain and Bengio, 2016; Belrose et al., 2023; Gurnee et al., 2023; Marks and Tegmark, 2023），从而实现了基于向量的干预，用于提高真实性（Li et al., 2023）、减少幻觉或谄媚（Rimsky et al., 2024），以及控制拒绝或安全相关行为（Arditi et al., 2024; Wollschläger et al., 2025; Lee et al., 2025; Ding et al., 2025）。最近的工作还将激活级控制扩展到多模态模型，表明视觉-语言行为可以通过隐藏状态干预来影响（Sivakumar et al., 2025; Wu et al., 2025a）。与先前针对通用语言行为或广泛安全拒绝的转向方法不同，**ConflictGuard** 针对GUI智能体的冲突处理，通过条件检测不可行指令，并将过度顺从的执行转向任务级终止（Lee et al., 2025）。

## 3 预备知识
### 3.1 问题形式化
我们将GUI交互表述为一个逐步决策问题。在步骤 $t$，智能体观察到一个GUI上下文 $g_t = (I_t, H_t)$，其中 $I_t$ 是当前截图，$H_t$ 是交互历史。给定用户指令 $q$，GUI智能体 $\pi_\theta$ 预测要执行的下一个动作：$a_t = \pi_\theta(q, g_t)$。(1)
动作空间包含可执行的GUI动作，如点击、滚动、按键和输入，以及一个任务级动作终止。我们使用两个操作标准来定义指令可行性：$V(q, g_t) = L(q) \land C(q, g_t)$，(2)
其中 $L(q)$ 捕捉指令在通用任务语义下的内部连贯性，$C(q, g_t)$ 捕捉指令是否被当前GUI上下文所支持。如果任一标准被违反，则指令不可行。我们考虑两种冲突类型，根据识别不可行性所需的主要证据进行分类。**指令内部冲突**主要可从指令本身识别，无需依赖特定GUI状态；例如，要求智能体点击删除按钮来保存文件。**指令与GUI上下文冲突**发生在指令与当前GUI观察相矛盾或未被支持时；例如，要求智能体点击红色按钮，而所有可见按钮都是蓝色的。在这两种情况下，期望的动作是终止，而不是替换另一个可执行的GUI动作。

### 3.2 数据集构建
我们从AMEX（Chai et al., 2025）、AndroidControl（Li et al., 2024）和AITZ（Zhang et al., 2024）构建 **ConflictGUI**。我们首先从现有的GUI智能体数据集中提取截图、原始指令和参考动作，并将它们转换为统一的动作导向格式。这些原始样本被视为可行实例。对于每个冲突样本，我们保留其对应的可行指令和参考动作，以便可行-冲突对可用于对比校准。最终的 **ConflictGUI** 包含两个配对的冲突子集：$\mathcal{D}_c = \{(x_i^0, x_i^c)\}_{i=1}^{N_c}, c \in \{1,2\}$，(3)
其中 $x_i^0 = (I_i, q_i^0, a_i^0)$。