计算机使用中的批处理与并行操作

过去几天，5.6 Sol 的发布消息铺天盖地，但有一项重大改进却鲜为人知：Codex Computer Use 以及它的两个关键特性——批处理和并行操作。

但这些新技术究竟如何改进计算机使用（CU）？

Codex 无法透露其中的秘密，但开源社区可以！pi-computer-use 在 4月23日 的 v0.1.4 版本中加入了批处理操作，而 @trycua 的 cua 驱动早在 6月1日 的 v0.5.0 版本中就支持了并行操作——都早于 Codex。

我是 pi-computer-use 的创建者，最近加入了 cua-driver 团队，所以让我来分享计算机使用的秘方 :^)

计算机使用中的事件循环

一个简化的计算机使用事件循环

一个简化的计算机使用事件循环

CU 让你的智能体能够控制你电脑上的应用，通过一个重复的三步流程，我们称之为计算机使用事件循环：

• 观察（智能体在屏幕上能看到的内容）
• 思考（智能体根据已知信息应该做什么）
• 交互（智能体对你的应用执行的操作）

每次交互后，智能体必须观察相应应用的响应，并正确调整下一次响应。这使得第二步成为 CU 的主要瓶颈：即使是一个简单的操作（如下滚页面），每次滚动都需要智能体思考一次。

这带来了三个主要缺点：速度慢、成本高，并且会导致模型上下文毫无意义地快速填满。那么，如果我们能把思考留给复杂的状态变化和操作，会怎样呢？

批处理操作

pi-computer-use 中的顺序操作与批处理操作对比

pi-computer-use 中的顺序操作与批处理操作对比

批处理操作为这一问题提供了一个直接的改进：将简单操作合并到单次模型调用中。对于 pi-computer-use 来说，这很大程度上受到 Pi Coding Agent 多步骤编辑工具的启发。

在 pi-computer-use 中，不仅多步骤流程更便宜（比如多次点击“下一页“按钮），还提升了智能体的适应能力：如果智能体之前在某线程中难以完成某个任务，它可以在之后以显著更低的延迟和更高的准确率重新完成同一任务。

在 pi-computer-use 的并行和顺序实现中，批处理显示延迟改善了约 59%。

在 pi-computer-use 的并行和顺序实现中，批处理显示延迟改善了约 59%。

一个扩展方向是可回放操作，类似于 Codex 的录制和回放。我现在正在努力将其引入 pi-computer-use！

批处理是一个很好的第一步，在 pi-computer-use 中实现了高达 59.2% 的改进。但关键问题仍然存在：它是顺序的：如果有多个智能体需要 CU，它们必须依次等待。

并行操作

这就是并行操作的用武之地。并行操作不再只允许一个智能体一次使用 CU 工具，而是让每个智能体并行工作，只需要关注它当前正在修改的应用。听起来很简单，对吧？

pi-computer-use 的问题在于状态是循环的一部分：整个会话有一个隐式的当前 UI 状态，一个智能体必须等待另一个完成，即使它们在使用不同的应用。

pi-computer-use 的并行实现

pi-computer-use 的并行实现

我们的解决方案是在共享循环外部维护一个不可变的状态存储：每个智能体根据与之交互的应用的版本化快照执行操作，每个应用都有自己的队列。为了防止冲突，状态存储会拒绝基于过期快照的智能体操作。

pi-computer-use 中用于并行工作者的测试分支延迟提升了近 5 倍！

计算机使用还有更多可能性——这只是下一代前沿界面众多优化中的两个。如果你希望亲眼看看这个魔法，请访问以下链接：

https://github.com/injaneity/pi-computer-use

https://github.com/trycua/cua