标签
UI-Venus-2 是一个开源的多模态图形用户界面代理，旨在通过移动、网络和桌面环境实现数字化自动化。它采用统一的推理-行动循环与强大的验证机制，以支持可靠的实际应用。
本文认为，当前的人工智能计算机使用代理通常通过直接访问API或编写脚本绕过实际用户界面，导致基准测试结果虚高，实际表现不可靠。文章指出，忽视界面是一种有缺陷的方法，无法泛化到杂乱的GUI环境中。
MobileForge提出了一种针对移动GUI智能体的免标注适配系统，该系统利用真实应用交互和分层反馈引导的策略优化来提升性能，在AndroidWorld上使用开放数据取得了接近最优的结果。
MIRAGE 是一个面向移动端 GUI 智能体的框架，它以紧凑的连续潜在表示取代冗长的思维链推理，并融入生成式世界模型视角，在执行操作前预测未来的屏幕状态。在 AndroidWorld 和 AndroidControl 基准测试中，该框架在减少超过 75% 生成 token 的同时，实现了具有竞争力或更优的性能表现。
本文介绍了PRO-CUA，一种使用迭代步骤级强化学习训练计算机使用代理（CUA）的过程奖励优化框架。该方法将同策略环境交互与策略优化解耦，实现了密集的信用分配，无需依赖专家轨迹，并在实时网络基准测试中展示了有效性。
AutoRPA是一个框架，能够自动将ReAct风格LLM代理的决策逻辑提炼为鲁棒且token高效的RPA函数，用于重复的GUI任务，将token使用量减少82%-96%。
作者讨论了构建一个小型VLM用于桌面GUI自动化，以在没有API的应用之间移动数据，并表达了对于本地模型在非编程自主用例方面的兴趣。
ToolCUA 是一个全新的代理框架，通过分阶段训练和强化学习，优化计算机使用代理的 GUI-工具路径选择。它通过在 GUI 操作和高级工具调用之间进行有效交替，在 OSWorld-MCP 上达到了最先进的性能。
ByteDance open-sourced UI-TARS-desktop, a native desktop GUI agent with 31.4k GitHub stars that uses vision models to control local or remote applications via natural language. The tool runs locally for privacy, supports Windows and macOS, and includes a CLI with streaming output for developers.
Agent S2 是一种新型的计算机使用智能体组合式框架，通过采用混合定位（Mixture-of-Grounding）与主动分层规划（Proactive Hierarchical Planning）技术，在多个基准测试中达到了最先进的性能。
# 计算机使用代理 来源: [https://openai.com/index/computer-using-agent/](https://openai.com/index/computer-using-agent/) 通过计算机使用代理(Computer-Using Agent)为Operator提供支持，这是AI与数字世界交互的通用接口。今天我们推出了[Operator\(在新窗口中打开\)](https://operator.chatgpt.com/)的研究预览版，这是一个能够在网络上为你执行任务的代理。Operator由计算机使用代理(CUA)驱动，这是一个结合了GPT-4o视觉功能的模型