injaneity/pi-computer-use 来源: https://github.com/injaneity/pi-computer-use

pi-computer-use

pi-computer-use 让 AI 代理能够在 macOS 和 Windows 上使用桌面应用。macOS 助手需要 macOS 14 或更新版本。代理可以查看应用窗口、理解其中的按钮和文字，并执行点击、输入、滚动、等待变化等操作。当代理需要与普通桌面应用交互，而不是通过 API、终端命令或文件时，这非常有用。

刚接触计算机使用？从这里开始：Wait, what exactly is Computer Use?（https://zanechee.dev/what-exactly-is-computer-use/）

本包的功能

这是一个 Pi 扩展。安装后，Pi 代理将获得以下工具：

• 查找已打开的应用和窗口
• 观察窗口中的可见内容
• 在可见界面中搜索文本、按钮和控件
• 更详细地检查界面中的特定部分
• 执行点击、输入、滚动和操作 UI 控件
• 等待 UI 变化

简而言之：它为代理提供了一种受控方式来操作桌面软件。

本包不是做什么的

pi-computer-use 不能替代应用 API 或 MCP 服务器。如果某个应用有可靠的直接集成，应优先使用它们。计算机使用仅在唯一可用的界面是屏幕上的应用时最有用。

安装

pi install npm:@injaneity/pi-computer-use

启动 Pi 并完成平台设置流程。在 macOS 上，授予以下权限：

/Applications/pi-computer-use.app

所需的 macOS 权限：

• 辅助功能
• 屏幕录制（在较新的 macOS 版本中显示为“屏幕和系统音频录制”）

macOS 设置流程会先注册助手，因此它应该已经出现在两个设置面板中。启用开关并选择“重新检查”。

在 Windows 上，请使用交互式桌面会话。Windows 支持使用平台辅助功能 API，不使用 macOS 助手应用或 TCC 权限流程。

在 Pi 中使用 /computer-use 可显示当前配置及其来源。

主要工具

• find_roots
• observe_ui
• search_ui
• expand_ui
• inspect_ui
• act_ui
• read_text
• wait_for

完整的工具参考请见 docs/usage.md。

文档

• 使用
• 架构
• 配置
• 开发
• 故障排除
• 贡献

开发状态

架构以不可变、状态作用域的观察为中心。桌面表面和 CDP 页面构成一个多根森林；渐进式轮廓查询保持缓存，实时工作按物理资源排序，独立根可以并行运行。act_ui 接受一个或多个意图步骤，在依赖的输入之间保持焦点，验证交付，安全恢复，存储一个完整的后继状态，并在身份置信度允许时返回一个紧凑的差异。旧的直接工具如 screenshot、click、set_text 和 computer_actions 不再属于公共扩展表面。

许可证

MIT