标签
介绍 Simular 的 Agent S4 论文：通过元智能体从任务轨迹中自动构建并进化计算机操作接口，使开源 Qwen3.8-27B 模型在 OSWorld V2 上达到 21.3%，超越 GPT-5.5 和 Claude Opus 4.8，且成本仅为后者的极小部分。
论文提出 MAGE 框架，利用用户手册作为可扩展的程序性知识来源，同时改进计算机使用代理（CUA）的推理与训练，在六个应用上提升了任务成功率并减少了对人工标注数据的依赖。
作者分享了将桌面智能体的规划与执行分离的架构：由 Claude Code 等前沿模型批量规划步骤，小型快速模型 Jev 负责执行点击与操作，普通步骤跳过模型，从而显著提升速度并降低成本。测试中 12 个随机按钮达成 47/48，每次点击约 1.2 秒。代码已开源。
OS-Helix 是一个端到端训练的多模态智能体，将 GUI 动作与代码执行统一在单一动作空间中，采用混合 SFT 加在线 RL 的训练方式，并提出 Step-balanced GSPO 目标函数，在 OS-World-Verified 上达到 66.44% 的成功率，同时展现出向 WindowsAgentArena 的跨平台迁移能力。
OpenGCUA 引入了一个开放的通用计算机使用智能体（GCUA）全栈方案，结合了视觉与编程接口、代码执行以及从执行框架到模型的决策迁移。在 OSWorld-v2 基准上，该方案在八个模型上均提升了任务得分，同时将每任务平均步骤数减少了 53%。
OpenMobile-2 提出了 MobileGym++——一个包含 110 多个可控商用风格应用的可扩展环境，并为移动智能体设计了混合 GUI/CLI 模式，在真实设备任务上实现了近 2 倍的性能提升。所有环境、数据、基准测试和模型均已完全开源。
iphone-use 开源工具让 AI 智能体操控真实 iPhone 屏幕（tap/type/scroll via WebDriverAgent），并提供 MCP server、HTTP API 与浏览器远程控制，即使是无 API 的应用也能被自动化。
UI-Venus-2 是一个开源的多模态图形用户界面代理，旨在通过移动、网络和桌面环境实现数字化自动化。它采用统一的推理-行动循环与强大的验证机制，以支持可靠的实际应用。
本文认为，当前的人工智能计算机使用代理通常通过直接访问API或编写脚本绕过实际用户界面，导致基准测试结果虚高，实际表现不可靠。文章指出，忽视界面是一种有缺陷的方法，无法泛化到杂乱的GUI环境中。
MobileForge提出了一种针对移动GUI智能体的免标注适配系统，该系统利用真实应用交互和分层反馈引导的策略优化来提升性能，在AndroidWorld上使用开放数据取得了接近最优的结果。
MIRAGE 是一个面向移动端 GUI 智能体的框架，它以紧凑的连续潜在表示取代冗长的思维链推理，并融入生成式世界模型视角，在执行操作前预测未来的屏幕状态。在 AndroidWorld 和 AndroidControl 基准测试中，该框架在减少超过 75% 生成 token 的同时，实现了具有竞争力或更优的性能表现。
本文介绍了PRO-CUA，一种使用迭代步骤级强化学习训练计算机使用代理（CUA）的过程奖励优化框架。该方法将同策略环境交互与策略优化解耦，实现了密集的信用分配，无需依赖专家轨迹，并在实时网络基准测试中展示了有效性。
AutoRPA是一个框架，能够自动将ReAct风格LLM代理的决策逻辑提炼为鲁棒且token高效的RPA函数，用于重复的GUI任务，将token使用量减少82%-96%。
作者讨论了构建一个小型VLM用于桌面GUI自动化，以在没有API的应用之间移动数据，并表达了对于本地模型在非编程自主用例方面的兴趣。
ToolCUA 是一个全新的代理框架，通过分阶段训练和强化学习，优化计算机使用代理的 GUI-工具路径选择。它通过在 GUI 操作和高级工具调用之间进行有效交替，在 OSWorld-MCP 上达到了最先进的性能。
ByteDance open-sourced UI-TARS-desktop, a native desktop GUI agent with 31.4k GitHub stars that uses vision models to control local or remote applications via natural language. The tool runs locally for privacy, supports Windows and macOS, and includes a CLI with streaming output for developers.
Agent S2 是一种新型的计算机使用智能体组合式框架，通过采用混合定位（Mixture-of-Grounding）与主动分层规划（Proactive Hierarchical Planning）技术，在多个基准测试中达到了最先进的性能。
# 计算机使用代理 来源: [https://openai.com/index/computer-using-agent/](https://openai.com/index/computer-using-agent/) 通过计算机使用代理(Computer-Using Agent)为Operator提供支持，这是AI与数字世界交互的通用接口。今天我们推出了[Operator\(在新窗口中打开\)](https://operator.chatgpt.com/)的研究预览版，这是一个能够在网络上为你执行任务的代理。Operator由计算机使用代理(CUA)驱动，这是一个结合了GPT-4o视觉功能的模型