标签
Vantage 是一款开源 Windows 11 应用，可将输入的提示转化为自主执行的桌面操作。它利用 AI 模型，通过 UI 自动化读取实际的窗口文本，执行点击、输入和运行 PowerShell 等操作，而非依赖屏幕截图。它支持使用你自己的 API 密钥接入任何兼容 OpenAI 的服务提供商，并将所有数据存储在本地。目前，该项目仍处于早期阶段，正在征集失败案例的反馈。
Cursor 现在让 AI 智能体能够控制桌面应用，例如 iOS 模拟器，使它们能够直接在本机上测试自己构建的功能。
有人将 Codex 的 Computer Use 运行时从 ChatGPT 桌面版中拆出为开源工具 LCU，无需 Codex 登录即可让 Claude Code、Pi、Hermes 等 Agent 看屏幕、点击按钮并操作桌面软件。
Hermes v0.22.0（The Threshold Release）推出旗舰功能 Bot Screen，为 AI Agent 提供独立的 Linux 网关桌面，支持实时直播监工、随时人工接管处理 2/验证码，以及关闭本地客户端后的远程后台运行，实现人机协同的自动化体验升级。
Betrox AI 是一款自主多 Worker 笔记本 Agent，通过屏幕视觉和原生 UI Automation 操控 Windows 操作系统，支持 BYOK API 密钥并进行本地加密，还能从 UI 错误中自我修复。开发者正在为计划于 2027 年推出的 alpha 测试和正式发布收集社区反馈。
该论文提出 DeskIF-Bench 基准（跨6款桌面应用的255个任务）研究软件界面演化对 LLM 代理性能的影响，并开发 ANIS 框架从已安装应用能力合成代理原生接口，在368个任务上显著提升成功率并降低约73%的 token 用量。
Semwright 是一款开源 Rust 运行时，让 AI 智能体通过结构化驱动器访问桌面及专业软件的应用对象与项目数据，并统一处理权限、执行、依赖、产物交接与验证，支持 MCP 但不局限于单一协议或模型。
DeskForge 引入了一个可控的桌面环境，通过组合真实应用程序生成 120 万条带稠密标注的桌面观测数据（DeskForge-1M），用于训练计算机操作智能体。在此数据上微调四个视觉语言模型后，在 GUI 定位基准上取得了显著提升（例如 Qwen3.5-4B 在 ScreenSpot-Pro 上提升了 11.51 个百分点），并在长程任务完成率上表现更佳。
cua 发布了其开源 computer-use 框架的新版本，让 AI 能像人类一样在桌面上点击和输入，开发者无需重复造轮子即可构建自己的 Agent —— 直接挑战了 Manus 等闭源商业产品。
ZeroSphere 是一款在 Windows 上为 AI 提供虚拟显示器的产品，使其能够与桌面应用程序交互，同时用户保持对自身桌面的控制。
Claude AI 在 Claude Cowork 和 Claude Code 中引入后台计算机使用功能，实现自主桌面任务执行，让用户专注于其他工作。
Sai 在 OSWorld 2.0 基准测试中以约三分之二的成本击败 Opus 5 和 GPT-5.6，得分 73%，展示了高效桌面任务执行能力。
本文提出证据优先反思（EFR）方法，通过解耦动作引发的视觉差异提取与结果验证，以改进桌面GUI代理中的反思过程，在基准测试上实现7.11%的准确率提升。
本文介绍了Windows Harness，这是一款开源Python工具，旨在自动化各种Windows任务，具备UI自动化、屏幕截图、原始输入功能，并可与浏览器、文件系统和PowerShell集成。
pi-computer-use v0.4.3 已发布，实现了与 Codex 的功能对等，新增了幽灵光标、子代理并行任务以及改进的批处理，使得延迟降低约 50%，并能更好地处理如 Microsoft 应用等复杂场景。
一款记录与编译工具允许用户演示桌面任务，随后由LLM将操作会话转换为结构化的技能文件，供代理重放，旨在降低僵化性并降低创建可复用代理能力的门槛。
Vantage 是一款开源 Windows 应用程序，利用大语言模型通过自然语言自动化桌面任务，使用户能够用简单的英语指令操作任何桌面应用程序。
中国发布了一款开源桌面自动化代理，完全本地运行，无需互联网即可控制桌面应用、文件和浏览。
字节跳动开源 UI-TARS Desktop，一款100%本地运行、仅基于像素操作且不调用API的桌面自动化工具，解决数据隐私和API费用两大痛点，为构建私密自动化工作流提供了高效开源方案。
微软推出 Fara-7B，一款仅 7B 参数的高效 Computer Use Agent，在网页任务上超越更大模型，支持纯本地部署，低成本实现桌面自动化。