把规划和点击分离后，我的桌面智能体快多了：前沿模型负责规划，小模型负责执行

我一直在为 Mac 开发一个桌面智能体，而最大的提速来自把规划和执行分离开来。问题是：当前沿模型直接驱动 GUI 时，每一次点击都要截一张图，再加上一整轮推理。这既慢（每步要好几秒）又昂贵，尽管大多数步骤其实微不足道。现在的做法： - Claude Code（规划器）提前写出整批步骤：「点击 Upload Document，然后输入文件名，再从下拉菜单中选择 Resume」。 - 一个小型、快速的决策模型（来自 TypeSafe 的 Jev）负责执行每一步：它在约 0.6 秒内在截图中定位目标并选择动作。 - 普通步骤（输入文本、按键、从已打开的下拉菜单中选择、附加文件）完全跳过模型。 - 它优先读取 macOS 的辅助功能树（accessibility tree），只有当应用什么都没有暴露时，才回退到像素识别。 - 每完成一批步骤后，它会把一份约 20 行的屏幕文字报告交给规划器，因此规划器几乎不需要截图。 安全护栏：它会拒绝看起来像发送/删除/支付的点击，除非我事先批准；我一碰鼠标它就立即停止。 在一个包含 12 个随机摆放按钮的测试页面上，它命中了 47/48 次，每次点击约 1.2 秒。在使用自定义绘制 UI 的应用中它仍然会迷路（今天 GitHub 的网页编辑器吞掉了我的按键输入）。很好奇其他人是否也得出了同样的规划器/执行器分离的思路，或者找到了更好的方式来处理没有辅助功能树的应用。代码已开源；按照本版规则，链接放在评论区。