高效GUI代理：观察、记忆、动作与运行时优化的系统调研

# 一种针对观察、记忆、行动与运行时优化的系统性综述  
来源：https://arxiv.org/html/2609.02309  
作者：Bizhe Bai  
单位：复旦大学未来信息学院，上海，中国；上海创新研究院，上海，中国  
Jiakang Yuan  
Hongming Wu  
单位：复旦大学未来信息学院，上海，中国  
Xinyue Wang  
单位：复旦大学未来信息学院，上海，中国  
Jie Ren  
单位：复旦大学未来信息学院，上海，中国  
Siyao Chen  
单位：复旦大学未来信息学院，上海，中国  
Yuchen Ya  
单位：复旦大学未来信息学院，上海，中国  
Fan Bai  
单位：独立研究者  
Pai Peng  
单位：独立研究者  
Huafeng Qin  
单位：重庆工商大学  
Tao Chen  
单位：复旦大学未来信息学院，上海，中国；上海创新研究院，上海，中国  

###### 摘要  
GUI代理正越来越多地应用于网站、移动应用和桌面环境中，但该领域的进展主要仍以任务成功率来衡量。我们认为，实际部署同等依赖于效率：即代理在成功完成任务的同时消耗了多少上下文、计算资源、行动预算及运行时开销。本综述通过一个端到端的系统视角来研究高效的GUI代理，同时保持现有技术维度，包括观察效率、上下文与记忆效率、行动效率以及规划器端/系统效率。对于每个子章节，我们通过定向搜索以及向前向后的引文链扩展种子文献，并综合主导机制、已报告的效率信号及其引入的新开销。纵观文献，近期的进展聚焦于一组反复出现的核心思想：选择性阅读而非全上下文摄取、全局到局部的视觉分配、可恢复的记忆而非原始历史重放、具备验证意识的控制、以及可在GUI和非GUI执行之间切换的混合运行时。我们最后指出主要开放问题，包括对验证器成本的诚实核算、跨基准的可比性、以及在真实延迟与隐私约束下观察、记忆与执行层的协同设计。  

## 1 引言  
大型语言模型（LLM）和视觉语言模型（VLM）已将GUI自动化推向开放式计算机使用：现代代理能够解读自然语言指令、实时检查图形界面，并跨网站、移动应用和桌面操作系统执行多步任务Yang et al. (2026b) (https://arxiv.org/html/2609.02309#bib.bib76)；Sager et al. (2025) (https://arxiv.org/html/2609.02309#bib.bib78)；Nguyen et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib77)。这些进步反映在交互式基准测试中，如Mind2Web、WebArena、VisualWebArena、BrowserGym、AndroidWorld、OSWorld和Windows Agent Arena，它们评估代理在网页导航、视觉基础网页交互、移动应用控制和开放式操作系统任务上的表现Deng et al. (2023) (https://arxiv.org/html/2609.02309#bib.bib69)；Zhou et al. (2023) (https://arxiv.org/html/2609.02309#bib.bib70)；Koh et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib71)；Le Sellier De Chezelles et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib72)；Rawles et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib34)；Xie et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib73)；Bonatti et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib74)。这些基准测试共同表明，近期的GUI代理正能胜任日益逼真的计算机使用任务，从导航复杂网站、操作移动应用到在桌面环境中完成多步工作流。与此同时，这些能力往往伴随着大量的交互和运行时成本。一个GUI代理最终可能完成任务，但需经过多次观察-推理-行动循环、重复的模型调用、冗余的界面操作或步骤间的长时间等待。例如，OSWorld-Human表明，目前在OSWorld上领先的计算机使用代理所采取的步骤数仍远超人类执行轨迹，且规划、判断和反思占据了端到端延迟的主要部分Abhyankar et al. (2025) (https://arxiv.org/html/2609.02309#bib.bib51)。这在实践中至关重要，因为GUI代理与用户所依赖的相同可见界面交互：一个占用屏幕时间过长、执行不必要操作或要求用户等待缓慢中间步骤的代理，即使最终答案正确，也可能难以部署。近期注重效率的研究已开始分析GUI代理执行中的步骤数、视觉token与缓存成本、规划延迟、行动抽象以及端到端运行时开销Huang et al. (2025) (https://arxiv.org/html/2609.02309#bib.bib23)；Zhong et al. (2026) (https://arxiv.org/html/2609.02309#bib.bib38)；Abhyankar et al. (2026) (https://arxiv.org/html/2609.02309#bib.bib4)。这些发现揭示了仅以成功作为评估标准的局限性：一个最终完成任务的代理对于实际部署来说可能仍然太慢、成本太高、上下文过重或交互效率低下。  

继近期关于高效代理、计算机使用代理和GUI代理的综述Yang et al. (2026b) (https://arxiv.org/html/2609.02309#bib.bib76)；Sager et al. (2025) (https://arxiv.org/html/2609.02309#bib.bib78)；Nguyen et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib77)，我们区分三个相关概念：  
**LLM**：在大规模语言数据上训练的基础模型，通常用作智能系统的推理和自然语言处理骨干。  
**代理**：一个以目标为导向的系统，通过反复观察环境、更新内部状态并选择行动来推进任务目标。  
**GUI代理**：一类特定的计算机使用代理，其主要的感知和执行通道是图形用户界面，而非纯文本API或命令行。  

在本综述中，我们使用**代理**一词指代上述闭环概念。因此，**GUI代理**不仅仅是一个接收截图的LLM：它是一种计算机使用代理，其观察和行动与截图、DOM或HTML结构、无障碍树、聚焦元素、窗口元数据以及诸如点击、输入、滚动、拖拽、调用快捷键或切换应用程序等界面级操作相关联Deng et al. (2023) (https://arxiv.org/html/2609.02309#bib.bib69)；Zhou et al. (2023) (https://arxiv.org/html/2609.02309#bib.bib70)；Rawles et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib34)；Xie et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib73)；Nguyen et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib77)；Sager et al. (2025) (https://arxiv.org/html/2609.02309#bib.bib78)。与纯文本工具代理不同，GUI代理必须解决视觉定位、部分可观察性、长期状态跟踪以及在噪声或不完整界面表示下执行的问题Koh et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib71)；Xie et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib73)；Nguyen et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib77)；Sager et al. (2025) (https://arxiv.org/html/2609.02309#bib.bib78)。  

**为何效率对GUI代理尤为重要？**  
GUI交互本质上是多模态且观察密集型的。在网页上，代理可能需要解析冗长的DOM或无障碍树，其冗余结构会增加上下文长度和推理成本Abuelsaad et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib1)；Schiepanski and Piël (2025) (https://arxiv.org/html/2609.02309#bib.bib3)；Kerboua et al. (2025a) (https://arxiv.org/html/2609.02309#bib.bib6)；Zhang et al. (2025a) (https://arxiv.org/html/2609.02309#bib.bib7)。在以截图为中心的场景中，代理必须解读视觉密集的屏幕、微小的目标和弱结构的无障碍元数据，这使得定位既计算昂贵又容易出错Cheng et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib8)；You et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib9)；Gou et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib17)；Xie et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib73)；Bonatti et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib74)。更广泛地说，关于高效多模态LLM的研究表明，多模态能力往往受限于训练成本、推理延迟、内存压力和重复的视觉计算Jin et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib75)。这些问题在GUI环境中变得更加尖锐，因为感知、推理和行动在每一步都交织在一起，而非分摊在单次查询中。GUI任务还是长期且对错误敏感的：代理必须从失败的行动、界面变化和冗长的轨迹中恢复，而人类分析已经显示在现实的计算机使用任务中存在巨大的步骤和延迟差距Agashe et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib15)；Abhyankar et al. (2025) (https://arxiv.org/html/2609.02309#bib.bib51)；Kang et al. (2026) (https://arxiv.org/html/2609.02309#bib.bib67)；Rawles et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib34)。效率也影响可部署性和隐私，因为实际系统可能需要最小化暴露的UI内容、云流量和运行时开销Jin et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib75)；Fan et al. (2025) (https://arxiv.org/html/2609.02309#bib.bib39)；Wang et al. (2026) (https://arxiv.org/html/2609.02309#bib.bib40)。  

本综述有两个贡献。首先，我们以效率为中心组织文献，涵盖观察、上下文与记忆、行动以及规划器端/系统优化四个维度。其次，我们综合了主要的跨层权衡和开放挑战，包括一些看似节省成本却因新的解析器、验证器、检索器或编排成本而被抵消的案例。  

## 2 预备知识  
本节固定了本综述其余部分使用的术语和系统视图。目的并非形式化每一个实现细节，而是提供关于GUI代理是什么、如何工作以及效率在何处介入该循环的简明描述。  

### 2.1 从代理到GUI代理  
从本综述的角度看，GUI代理是智能系统的一个特定类别：它们接收用户目标，观察图形界面，推理下一步行动，并执行界面级操作Yang et al. (2026b) (https://arxiv.org/html/2609.02309#bib.bib76)；Sager et al. (2025) (https://arxiv.org/html/2609.02309#bib.bib78)。这个循环可以简洁地表示为：  
$$a_t \sim \pi(g, o_t, m_t) \tag{1}$$  
其中 \(g\) 是用户目标，\(o_t\) 是当前GUI观察，\(m_t\) 是保留的上下文或记忆，\(a_t\) 是下一个行动。我们使用这个公式仅用于固定符号。实践中，\(o_t\) 可能包括截图、DOM或HTML、无障碍树或相关的界面元数据，而 \(a_t\) 可能包括点击、输入、滚动、拖拽、热键或应用切换Deng et al. (2023) (https://arxiv.org/html/2609.02309#bib.bib69)；Zhou et al. (2023) (https://arxiv.org/html/2609.02309#bib.bib70)；Rawles et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib34)；Xie et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib73)。关于GUI代理更详细的讨论见附录A (https://arxiv.org/html/2609.02309#A1)。  

### 2.2 GUI代理如何实现以及什么应该高效  
尽管实现各异，大多数GUI代理遵循相同的功能流程。它们首先从截图、DOM或HTML、无障碍树或混合解析输出构建当前界面的可操作表示Deng et al. (2023) (https://arxiv.org/html/2609.02309#bib.bib69)；Zhou et al. (2023) (https://arxiv.org/html/2609.02309#bib.bib70)；Cheng et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib8)；Gou et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib17)。然后，它们通过短期历史或显式记忆结构保留任务相关上下文，推理下一个子目标或行动，将该决策定位到可执行的元素或坐标，执行该行动，并验证预期效果是否发生Agashe et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib15)；Xie et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib73)；Lee et al. (2025) (https://arxiv.org/html/2609.02309#bib.bib47)；Chen et al. (2025a) (https://arxiv.org/html/2609.02309#bib.bib60)；Kang et al. (2026) (https://arxiv.org/html/2609.02309#bib.bib67)。有些系统将这些阶段合并为一个多模态模型，而另一些则将它们作为独立模块暴露出来；但工作流程保持不变。  

**图1**：一个GUI代理系统可被视为一个观察/感知、上下文与记忆、规划/推理、定位/行动执行、以及验证/反馈的循环。本综述的四个分类轴在相应阶段明确标出：观察效率、上下文与记忆效率、行动效率、规划器端与系统效率。  

此工作流程也阐明了本综述所指的效率含义。  
*观察效率*关注如何表示当前界面，而不以冗余的文本或视觉token压倒模型Abuelsaad et al. (2024) (https://arxiv.org/html/2609.02309#bib.bib1)；Schiepanski and Piël (2025) (https://arxiv.org/html/2609.02309#bib.bib3)；Lin et al. (2025a) (https://arxiv.org/html/2609.02309#bib.bib42)。  
*上下文与记忆效率*关注历史信息如何在各步骤间压缩、保留或检索Liu et al. (2025a) (https://arxiv.org/html/2609.02309#bib.bib57)；Liu et al. (2025b) (https://arxiv.org/html/2609.02309#bib.bib21)。  
*行动效率*关注代理如何通过抽象、剪枝、验证和恢复经济地达成目标Zhang et al. (2025a) (https://arxiv.org/html/2609.02309#bib.bib7)；Lee et al. (2025) (https://arxiv.org/html/2609.02309#bib.bib47)；Kang et al. (2026) (https://arxiv.org/html/2609.02309#bib.bib67)。  
*规划器端与系统效率*关注推理深度、编排开销、后端路由以及超越下一步预测器本身的端到端运行时Yang et al. (2026b) (https://arxiv.org/html/2609.02309#bib.bib76)；Fan et al. (2025) (https://arxiv.org/html/2609.02309#bib.bib39)；Wang et al. (2026) (https://arxiv.org/html/2609.02309#bib.bib40)。  

### 2.3 GUI代理的效率指标  
客观评估应将*有效性*与*效率*分开。有效性指标衡量任务质量；效率指标衡量为获得该质量所消耗的资源。我们使用以下词汇：  
1. **延迟指标**：TTFT是从请求发出到生成第一个token的时间；TPOT是第一个token之后平均每个生成token的时间；推理延迟是总的模型调用时间；单步延迟是一个观察-规划-行动-验证周期的时间；端到端延迟是从任务开始到成功或失败的时间。  
2. **观察指标**：感知调用计数截图、裁剪、OCR、VLM、DOM、HTML或AxTree解析调用；DOM/HTML/AxTree长度衡量序列化界面大小；图像裁剪计数局部化的视觉输入。  
3. **上下文与记忆指标**：历史长度、检索到的记忆大小、K