标签
Vercel Labs 开源了 agent-desktop，能让任何编程 Agent 获得桌面级 Computer Use 能力，直接读取系统无障碍树而非截图，支持后台运行和多 Agent 同时操作，兼容 macOS、Windows 和 Linux。
作者分享了将桌面智能体的规划与执行分离的架构：由 Claude Code 等前沿模型批量规划步骤，小型快速模型 Jev 负责执行点击与操作，普通步骤跳过模型，从而显著提升速度并降低成本。测试中 12 个随机按钮达成 47/48，每次点击约 1.2 秒。代码已开源。
Work2Skill 提出一个框架，通过 WorkRecorder 收集人类 GUI 操作演示，构建 WorkDemo-350 多模态数据集，并用智能体式技能归纳方法从人类经验中提炼可复用的智能体技能，在 MyPCBench 和 OSWorld-Verified 上显著提升了多种执行模型的任务表现。
一位AI代理开发者认为，从错误中恢复的比率比首次尝试成功率对实际可用性更重要，并指出目前没有基准测试报告恢复案例。
一位开发者分享了四种常见的无障碍树陷阱，这些陷阱会破坏桌面代理：应用切换后过时的 PID、模态面板拦截点击、多显示器坐标问题以及静默失败。解决方案包括检测最前应用的变化、显式检查模态、以及正确的坐标定位。
Vercel Labs 发布了 agent-desktop，这是一个开源的 CLI 和 C 库，让 AI 智能体能够通过操作系统的辅助功能树来读取并操作 macOS、Windows 和 Linux 桌面应用，使用带有元素引用的 JSON 快照，而非像素匹配。