pi-computer-use v0.4.3 现已发布！本次更新旨在与 codex 实现功能对等（值得肯定的是，他们在最近一次更新中大幅提升了自身表现）：

• 幽灵光标现在会显示计算机使用正在操作什么
• 并行任务允许子代理安全地在不同应用之间协调
• 更好的批处理提高了重复/简单动作组的准确性
  我们现在看到各类任务的延迟改善了近 50%，并且对非平凡用例（如 Microsoft 应用）的处理也更出色。
  在这里试用：https://github.com/injaneity/pi-computer-use/releases/tag/v0.4.3

injaneity/pi-computer-use

来源：https://github.com/injaneity/pi-computer-use

pi-computer-use

pi-computer-use 让 AI 代理能够在 macOS 和 Windows 上使用桌面应用。macOS 辅助程序需要 macOS 14 或更高版本。代理可以查看应用窗口，理解其中的按钮和文本，并执行点击、输入、滚动以及等待某个变化发生等操作。当代理需要与常规桌面应用（而非 API、终端命令或文件）配合使用时，这一功能非常有用。

初次接触计算机使用？可以从这里开始：等等，计算机使用到底是什么？(http://localhost:4173/what-exactly-is-computer-use/)

此包的功能

这是一个 Pi 扩展。安装后，Pi 代理将获得以下工具：

• 查找打开的应用和窗口
• 观察窗口中可见的内容
• 在可见界面中搜索文本、按钮和控件
• 更详细地检查界面组件
• 点击、输入、滚动和按下 UI 控件
• 等待 UI 变化
  简而言之：它为代理提供了一种控制桌面软件的方式。

此包不是什么

pi-computer-use 并非应用 API 或 MCP 服务器的替代品。如果一个应用拥有可靠的直接集成方式，请优先使用它。只有当唯一可用的界面是屏幕上的应用时，计算机使用功能才最为有用。

安装

pi install git:github.com/injaneity/[email protected]  

启动 Pi 并完成平台设置流程。
在 macOS 上，授予以下权限：

/Applications/pi-computer-use.app  

所需的 macOS 权限：

• 辅助功能
• 屏幕录制（在较新的 macOS 版本上显示为“屏幕和系统音频录制”）
  macOS 设置流程会先注册辅助程序，因此它应该已经出现在两个设置面板中。启用开关并选择“重新检查”。

在 Windows 上，使用交互式桌面会话。Windows 支持使用平台辅助功能 API，不依赖 macOS 辅助程序或 TCC 权限流程。

在 Pi 中使用 /computer-use 显示当前配置及其来源。

主要工具

• find_roots
• observe_ui
• search_ui
• expand_ui
• inspect_ui
• act_ui
• read_text
• wait_for
  完整的工具参考请参见 docs/usage.md。

文档

• 使用
• 架构
• 配置
• 开发
• 故障排除
• 贡献指南

开发状态

该架构以不可变的状态限定观察为核心。桌面表面和 CDP 页面构成一个多根森林；渐进式轮廓查询保持缓存，而实时工作按物理资源排序，从而独立根可以并行运行。act_ui 接受一个或多个意图步骤，跨依赖输入保持焦点，验证交付，安全恢复，存储一个完整的后继状态，并在身份置信度允许时返回紧凑的差异。旧的直接工具（如 screenshot、click、set_text 和 computer_actions）已不再属于公共扩展表面。

许可证

MIT