智能体-计算机观察接口实现动态计算机使用

# 代理-计算机观察接口实现动态计算机使用
来源：https://arxiv.org/abs/2606.29472
查看PDF（https://arxiv.org/pdf/2606.29472）

> 摘要：SWE-agent将动作接口确立为软件工程代理中一个未被充分探索的设计维度；我们为计算机使用（CU）代理中的观察接口提出了类似的论点。当前的CU代理，无论是闭源还是开源，都将观察与动作绑定——每3-5秒一张截图，没有音频——使它们在截图之间的视频、动画、瞬态UI事件、会议和语音指令面前既盲又聋。我们引入了代理-计算机观察接口（AOI），这是一个与模型无关的感知层，通过三个门控组件将连续、自适应的观察与离散动作解耦：步骤间关键帧捕获、音量门控音频转录，以及CU模型生成的、以文本形式持久化的视觉叙述。每个组件在静态、静默内容上几乎不产生任何输出，从而缩减为标准循环而不降低其性能。在DynaCU-Bench（100个动态浏览器任务加上50个任务的静态控制）上，从7B到前沿规模的CU模型，在零重新训练的情况下，相比其截图基线获得了+17到+48个百分点的提升，将那些从周期性截图中几乎不可能完成的任务转变为基本可解决的任务。差距在音频上最为显著：在一个语音内容子集上，AOI代理解决了每一个任务，而流式语音模型虽然能准确听到内容，但在没有该框架的情况下无法对听到的内容采取行动。这种分解与标题所示的增益同样具有信息量：关键帧选择实际上并不重要——价值在于将捕获的帧叙述为持久化的文本——并且该接口并非固定的捆绑包，因为在较新的模型（Gemini 3 Flash）上，关键帧流由于图像token稀释而主动退化，因此其组件必须针对每个模型进行选择，而不是作为单一配置提供。

## 提交历史

来自：Bojie Li [查看邮箱](https://arxiv.org/show-email/e9846b72/2606.29472) **\[v1\]** 2026年6月28日星期日 15:59:31 UTC（373 KB）