标签
ZeroSphere 是一款在 Windows 上为 AI 提供虚拟显示器的产品，使其能够与桌面应用程序交互，同时用户保持对自身桌面的控制。
Claude AI 在 Claude Cowork 和 Claude Code 中引入后台计算机使用功能，实现自主桌面任务执行，让用户专注于其他工作。
Sai 在 OSWorld 2.0 基准测试中以约三分之二的成本击败 Opus 5 和 GPT-5.6，得分 73%，展示了高效桌面任务执行能力。
本文提出证据优先反思（EFR）方法，通过解耦动作引发的视觉差异提取与结果验证，以改进桌面GUI代理中的反思过程，在基准测试上实现7.11%的准确率提升。
本文介绍了Windows Harness，这是一款开源Python工具，旨在自动化各种Windows任务，具备UI自动化、屏幕截图、原始输入功能，并可与浏览器、文件系统和PowerShell集成。
pi-computer-use v0.4.3 已发布，实现了与 Codex 的功能对等，新增了幽灵光标、子代理并行任务以及改进的批处理，使得延迟降低约 50%，并能更好地处理如 Microsoft 应用等复杂场景。
一款记录与编译工具允许用户演示桌面任务，随后由LLM将操作会话转换为结构化的技能文件，供代理重放，旨在降低僵化性并降低创建可复用代理能力的门槛。
Vantage 是一款开源 Windows 应用程序，利用大语言模型通过自然语言自动化桌面任务，使用户能够用简单的英语指令操作任何桌面应用程序。
中国发布了一款开源桌面自动化代理，完全本地运行，无需互联网即可控制桌面应用、文件和浏览。
字节跳动开源 UI-TARS Desktop，一款100%本地运行、仅基于像素操作且不调用API的桌面自动化工具，解决数据隐私和API费用两大痛点，为构建私密自动化工作流提供了高效开源方案。
微软推出 Fara-7B，一款仅 7B 参数的高效 Computer Use Agent，在网页任务上超越更大模型，支持纯本地部署，低成本实现桌面自动化。
ProCUA-SFT 是一个大规模合成数据集，包含 310 万个步骤级别的 SFT 样本，用于训练计算机使用代理。该数据集通过使用单一 VLM（Kimi-K2.5）的自动化流程生成。在其上微调 UI-TARS 7B 在 OSWorld 上达到 45.0%，比基础模型提高了 18.7 个百分点。
微软发布了Fara-7B，一个7B参数的小型语言模型，专攻纯本地桌面自动化，能直接接管鼠标键盘执行重复流程，成本低且无需联网。
Minicor 是一个由 Y Combinator 支持的平台，部署自愈 AI 代理以实现可扩展的桌面自动化，能够与缺乏 API 的遗留系统集成。
Midscene的Computer Agent让桌面UI自动化可以在Linux CI中无头运行，通过xvfb-run自动化，无需真机或VM，支持Electron、Qt、GTK应用。
Atomic-Agent 是一个为 llama.cpp 本地推理模型设计的桌面操作 Agent，通过优化运行时架构让小型本地模型可靠地执行多步骤桌面任务。
IrisGo在吴恩达支持下推出了一款AI桌面助手，它能学习用户工作流程，在设备本地自动化执行重复任务以保护隐私，面向知识工作者。
作者讨论了构建一个小型VLM用于桌面GUI自动化，以在没有API的应用之间移动数据，并表达了对于本地模型在非编程自主用例方面的兴趣。
OpenComputer 提出了一种框架，用于为计算机使用智能体创建可验证的软件环境，集成了状态验证器、自改进验证层、任务合成以及评估系统，覆盖33个桌面应用程序。实验表明，其验证器与人类判断的一致性优于LLM作为判断者，且前沿智能体在端到端完成方面仍面临困难。
OpenAI 正在为 Codex 开发一项功能，使其能够通过 Computer Use 控制 macOS 应用程序，即使在笔记本电脑锁定或休眠时也能操作，并远程控制运行 Codex 应用的其他桌面设备，从而扩展其远程控制能力。