保障计算机使用代理的安全：面向部署落地可靠性的统一架构-生命周期框架

# 保障计算机使用代理的安全：一种面向部署可靠性的统一架构-生命周期框架

来源: https://arxiv.org/html/2605.07110
作者: Zejian Chen1, Zhanyuan Liu1, Chaozhuo Li1, Mengxiang Han2, Songyang Liu1, Litian Zhang1, Feng Gao2, Yiming Hei3, Xi Zhang1

###### 摘要

计算机使用代理（Computer-Use Agents, CUAs）正从有限的基准测试环境走向真实的软件环境，在这些环境中，它们操作浏览器、桌面、移动应用、文件系统、终端和工具后端。在此类设置下，可靠性不再仅由任务成功率来衡量：感知错误、规划漂移、内存使用、工具中介、权限范围以及运行时监督共同决定了代理的操作是否与用户意图保持一致。现有的综述通常按方法、平台、基准测试或安全威胁来组织 CUA 领域，但较少明确地将能力形成、权限暴露、故障表现和控制位置联系起来。为了填补这一空白，本文提出了一种面向部署可靠性的架构-生命周期框架。架构视图分析了**感知**、**决策**和**执行**这三个耦合层，它们将软件观察转化为具有权限的操作。生命周期视图考察了**创建**、**部署**、**运行**和**维护**四个阶段，在这些阶段中，先验知识被学习，工具和权限被绑定，运行时轨迹受到压力测试，且必须在分布漂移下保持可靠性保障。通过这一视角，分析综合了代表性的系统、基准测试以及安全/隐私研究；区分了故障变得可见的位置与其促成条件被引入的位置；并映射了用于控制、监督和保障的反复出现的干预表面。OpenClaw 仅作为公开部署模式的一个动机示例使用，而非经过验证的内部案例研究。结论强调了可控接地、长视界约束保持、安全权限绑定、混合信任运行时防御、隐私保护内存以及持续保障等方面的开放挑战。

## I 引言

计算机使用代理（CUAs）越来越多地被研究为能够操作真实软件环境而不仅仅是回答提示的代理。最近的系统已经涵盖了浏览器、桌面、移动应用、文件系统、终端和工具后端\[136 (https://arxiv.org/html/2605.07110#bib.bib98),39 (https://arxiv.org/html/2605.07110#bib.bib99),148 (https://arxiv.org/html/2605.07110#bib.bib128),186 (https://arxiv.org/html/2605.07110#bib.bib132),149 (https://arxiv.org/html/2605.07110#bib.bib133),5 (https://arxiv.org/html/2605.07110#bib.bib119),41 (https://arxiv.org/html/2605.07110#bib.bib125)\]。这一转变改变了可靠性的含义。在仅对话的设置中，本地错误通常仅停留在文本层面。在实时软件环境中，同样的错误可能导致文件删除、密钥泄露、意外转账或持久性配置错误。因此，可靠的计算机使用既是建模问题，也是系统问题，因为感知、规划、执行权限、内存、工具使用和监督在实时软件条件下相互作用。CUA 部署设置的近期扩展使得综合性综述变得及时。

基准测试已从有限的网站任务转向视觉接地、企业级、个性化和开放环境设置\[25 (https://arxiv.org/html/2605.07110#bib.bib19),187 (https://arxiv.org/html/2605.07110#bib.bib18),62 (https://arxiv.org/html/2605.07110#bib.bib36),28 (https://arxiv.org/html/2605.07110#bib.bib38),9 (https://arxiv.org/html/2605.07110#bib.bib180),160 (https://arxiv.org/html/2605.07110#bib.bib135),177 (https://arxiv.org/html/2605.07110#bib.bib150),16 (https://arxiv.org/html/2605.07110#bib.bib151),101 (https://arxiv.org/html/2605.07110#bib.bib138),146 (https://arxiv.org/html/2605.07110#bib.bib21)\]。与此同时，系统构建和评估工作已在接地、内存、长视界规划、工具增强执行、安全评估和开放部署堆栈等方面多样化\[136 (https://arxiv.org/html/2605.07110#bib.bib98),39 (https://arxiv.org/html/2605.07110#bib.bib99),130 (https://arxiv.org/html/2605.07110#bib.bib115),158 (https://arxiv.org/html/2605.07110#bib.bib114),175 (https://arxiv.org/html/2605.07110#bib.bib116)\]。难点不再仅仅是缺乏关于 CUA 能力的证据，还在于缺乏一个共同的坐标系来解释能力是如何形成的、如何与操作权限绑定、故障首先在何处变得可见以及控制可以在何处介入。

现有综述澄清了这一领域的重要片段。当前的概述总结了方法家族、平台覆盖范围、基准测试清单和高层生态系统结构\[100 (https://arxiv.org/html/2605.07110#bib.bib79),50 (https://arxiv.org/html/2605.07110#bib.bib80),125 (https://arxiv.org/html/2605.07110#bib.bib81),133 (https://arxiv.org/html/2605.07110#bib.bib109),36 (https://arxiv.org/html/2605.07110#bib.bib108),115 (https://arxiv.org/html/2605.07110#bib.bib82)\]。更专注的综述研究了强化学习增强、手机自动化、WebAgents 或安全与威胁\[71 (https://arxiv.org/html/2605.07110#bib.bib105),82 (https://arxiv.org/html/2605.07110#bib.bib106),102 (https://arxiv.org/html/2605.07110#bib.bib107),12 (https://arxiv.org/html/2605.07110#bib.bib104)\]。这些工作很有价值，但它们通常按方法、平台、基准测试或威胁类别组织该领域。较少明确阐述的是基于部署的视角，即学习到的能力如何转化为具有权限的操作，相似的运行时故障如何源于不同的上游条件，以及安全、隐私和监督机制应如何放置在系统架构和生命周期阶段中。

为了解决这一差距，本文针对网页、桌面、移动和跨应用设置中的通用 CUA 开发了一个面向部署可靠性的分析框架。该框架结合了两种视角。架构视图通过三个耦合层分析 CUA：**感知**，从软件观察中重构可操作状态；**决策**，在不确定性和长视界压力下保持任务条件化的意图；以及**执行**，将决策转化为具有权限的操作。生命周期视图分析四个阶段：**创建**，形成先验、接地习惯、目标和动作抽象；**部署**，将工具、会话、权限和观察通道绑定到代理；**运行**，活动轨迹受到混合信任输入、部分可观察性和异步变化的压力测试；以及**维护**，发布后模型、接口、工具和生态系统的漂移。

这两种视角共同提供了一个诊断镜头，用于区分故障表现的位置与其促成条件被引入的位置。此处的范围是面向部署的可靠性，而不仅仅是 CUA 能力。分析侧重于系统、基准测试、部署模式以及实质性地影响 CUA 在与真实软件表面和操作权限交互时行为的安全或隐私研究。OpenClaw 仅作为公开部署模式的一个动机示例使用，而非经过验证的内部案例研究\[105 (https://arxiv.org/html/2605.07110#bib.bib96),95 (https://arxiv.org/html/2605.07110#bib.bib97)\]。更广泛地说，分析针对的是在真实世界部署条件下结合接口交互、工具、内存和具有权限执行的更广泛 CUA 类别。主要贡献如下：

- **CUA 的面向部署可靠性范围。** CUA 可靠性被表征为软件观察、任务条件化决策、具有权限的执行、内存、工具使用和监督的联合属性，而不仅仅是基准任务的成功率。
- **架构-生命周期框架。** 文献通过**感知**、**决策**和**执行**的三层架构，以及**创建**、**部署**、**运行**和**维护**的四阶段生命周期进行组织。
- **故障起源分析。** 分析区分了故障变得可见的位置与其促成条件被引入的位置，将在接地错误、规划漂移、过度特权、内存误用、混合信任输入、隐私泄露和生态系统漂移关联在一个诊断视图中。
- **控制与治理地图。** 反复出现的干预表面被映射到架构层和生命周期阶段，包括数据和奖励设计、权限范围界定、溯源感知的工具中介、运行时验证、人工升级、回滚和持续保障。

#### 范围、证据基础和非目标

分析是组织性和诊断性的。它不试图验证 OpenClaw 的内部细节，引入新的基准测试，或提供形式化的安全证明。其目标是通过共同的分析框架综合现有的 CUA 文献和公开部署模式。覆盖面侧重于近期的 CUA 工作，同时保留那些为计算机使用推理、接地、执行或监督贡献必要概念的早期研究。选择优先考虑代表性的系统、基准测试、综述、面向部署的堆栈以及实质性地影响已部署 CUA 行为的安全或隐私研究\[133 (https://arxiv.org/html/2605.07110#bib.bib109),124 (https://arxiv.org/html/2605.07110#bib.bib110),59 (https://arxiv.org/html/2605.07110#bib.bib113),188 (https://arxiv.org/html/2605.07110#bib.bib137),160 (https://arxiv.org/html/2605.07110#bib.bib135),181 (https://arxiv.org/html/2605.07110#bib.bib164),163 (https://arxiv.org/html/2605.07110#bib.bib155),80 (https://arxiv.org/html/2605.07110#bib.bib193)\]。相邻的代理安全、工具使用或治理文献仅在其澄清了 CUA 相关机制时才被包含，并被视为相邻证据而非直接的 CUA 证据。

表 I：在近期 CUA 文献中提出的架构-生命周期视图的启发式定位图。该表突出了此处解决的分析空白，而非作为详尽的相关工作清单。Table I (https://arxiv.org/html/2605.07110#S1.T1)将提出的架构-生命周期视图置于文献中，并非为了对先前工作进行排名。它是有意选择性的：目标是指示此处的分析范围，而不是将整个 CUA 文献压缩到单个表格中。许多先前研究已经解决了安全、生命周期和治理的重要方面。此处的贡献不是取代这些工作路线，而是通过一个以能力形成、权限暴露、故障涌现和控制位置为中心的共同分析框架将它们联系起来。

余下的部分依次展开该框架。第二节 (https://arxiv.org/html/2605.07110#S2)定义了问题空间及其主要设计轴；第三节 (https://arxiv.org/html/2605.07110#S3)介绍了分析框架；第四节 (https://arxiv.org/html/2605.07110#S4)和第五节 (https://arxiv.org/html/2605.07110#S5)分别阐述了架构和生命周期维度；第六节 (https://arxiv.org/html/2605.07110#S6)通过联合视角分析安全和隐私；第七节 (https://arxiv.org/html/2605.07110#S7)得出了治理和控制影响。

## II 问题定义与设计轴

在讨论架构或生命周期之前，本节固定计算机使用代理（CUA）旨在解决的控制问题。给定用户目标 $g$、约束集 $c$ 以及来自实时软件环境 $\mathcal{E}$ 的部分观察流，代理必须保持任务相关状态并通过具有权限的接口发出动作，以便任务在不违反用户意图或系统权限的情况下进展。因此，研究对象不是孤立的接口理解。它是在部分可观察、动态变化、权限受限的软件环境中的控制。本节形式化该设置并隔离以下分析中最相关的两个设计轴：代理如何从软件观察中构建可执行状态，以及如何将意图绑定到具有权限的动作。

### II-A 问题形式化：软件交互作为部分可观察控制

CUA 可以抽象地写为在面向软件的环境 $\mathcal{E}$ 上运行的策略 $\pi(a_t | h_t, o_t, g, c)$。在步骤 $t$，代理接收部分观察 $o_t$，更新内部状态 $h_t$，并通过环境可用的控制表面发出动作 $a_t \in \mathcal{A}$。因此，输出不仅仅是文本，而是具有实际运营效果的动作。目标是达到任务完成状态，同时保持用户指定的约束，尊重权限边界，并在不确定性高时保持可恢复性。

使该设置具有特色的是，软件控制仅是部分可观察且仅弱同步的。现实的任务可以在浏览器、操作系统窗口、文件系统、终端、API 和工具后端之间移动\[144 (https://arxiv.org/html/2605.07110#bib.bib26),118 (https://arxiv.org/html/2605.07110#bib.bib7),136 (https://arxiv.org/html/2605.07110#bib.bib98),148 (https://arxiv.org/html/2605.07110#bib.bib128)\]。即使有屏幕截图、DOM 或无障碍树、OCR 输出、内存痕迹和工具响应，相关状态可能仍然隐藏、延迟或已经过时：窗口异步变化，权限提示在计划形成后出现，工具状态可能仅在调用成功后才变得可见\[187 (https://arxiv.org/html/2605.07110#bib.bib18),44 (https://arxiv.org/html/2605.07110#bib.bib28),146 (https://arxiv.org/html/2605.07110#bib.bib21)\]。

随之而来的是三个属性。首先，软件环境在语义上是密集的：一个小图标、复选框或命令参数可能带来不成比例的影响。其次，它们默认是混合信任的：相同的观察流可能包含用户意图、良性接口内容、欺骗性提示、检索到的文本以及攻击者控制或受损的工具输出\[87 (https://arxiv.org/html/2605.07110#bib.bib77),35 (https://arxiv.org/html/2605.07110#bib.bib46),183 (https://arxiv.org/html/2605.07110#bib.bib100),150 (https://arxiv.org/html/2605.07110#bib.bib48)\]。第三，它们分层具有权限：模型选择的动作并不等同于系统最终行使的权限。这就是为什么此处将 CUA 行为视为部分可观察和受限权限下的受控交互，而不仅仅是下一步预测。

### II-B 观察模态和任务相关状态表示

第一个主要设计选择是原始软件观察如何转化为任务相关状态。在某些环境中，DOM 树、无障碍元数据或视图层次结构提供了用于定位和控制的精确句柄\[187 (https://arxiv.org/html/2605.07110#bib.bib18)\]。在其他环境中，基于屏幕截图的交互占主导地位，这将计算机使用转化为一个由 OCR 质量、尺度、定位、主题变化和小目标鲁棒性塑造的多模态接地问题。混合方法介于两者之间，仅在它们改善下游控制时才调用解析器或专用接地器\[157 (https://arxiv.org/html/2605.07110#bib.bib31),117 (https://arxiv.org/html/2605.07110#bib.bib1),33 (https://arxiv.org/html/2605.07110#bib.bib5),161 (https://arxiv.org/html/2605.07110#bib.bib83)\]。任务相关状态也更广泛...