标签
用户描述了一个通过混合使用鼠标、键盘和截图方式控制整个桌面的CLI工具，该工具成功完成了发送电子邮件截图和远程桌面控制等任务。用户希望寻找具有挑战性的测试来验证其稳健性。
MountainDesk是一款本地优先的工具，它连接了AI模型推理与桌面自动化，提供系统状态锚点、多智能体编排和后台监控等功能。创建者希望获得关于安全性和工作流整合的反馈。
Teknium 推出了一项「Computer Use」早期预览功能，该功能内置于 Hermes Agent 中，并由 TryCua 提供动力，允许任何 AI 模型在后台与桌面环境交互并对其进行控制，且不会覆盖用户的直接输入。
将 Hermes Agent 与 AionUI 结合，可将个人电脑升级为支持多智能体并行、具备长期记忆与自我进化能力的 Agentic AI 操作系统，实现从数据分析、文件管理到代码编写的全自动化本地工作流。
本文介绍了 Opendesk，这是一个开源工具，通过利用原生辅助功能 API 识别交互元素，取代了容易出错的像素坐标猜测，从而提高了计算机操作智能体的可靠性。
字节跳动开源的桌面 AI 自动化工具 UI-TARS Desktop 支持本地运行与屏幕视觉理解，可通过自然语言指令自主操控电脑完成日常任务。
UI-TARS-desktop is a highly popular open-source tool by ByteDance that enables 100% local multimodal desktop automation, allowing users to control apps and browsers via natural language without cloud data leaks.
中国开源了一款桌面AI Agent，能够通过自然语言查看屏幕并控制鼠标/键盘，完全本地运行，无需依赖云端。
Roundtable Space 是一个完全本地、开源的桌面自动化代理，它使用自然语言来跨应用控制屏幕、鼠标和键盘，迅速积累了超过2.9万个 GitHub 星标。
OpenAI's new ChatGPT feature allows it to directly control browsers and desktop applications, enabling automated tasks like form filling and data entry.
pi-computer-use 是一个 Pi agents 的扩展，使其能够查看并操作 macOS 和 Windows 上的桌面应用程序，通过点击、输入、滚动以及等待UI变化。