标签
本文认为,当前的人工智能计算机使用代理通常通过直接访问API或编写脚本绕过实际用户界面,导致基准测试结果虚高,实际表现不可靠。文章指出,忽视界面是一种有缺陷的方法,无法泛化到杂乱的GUI环境中。
Qwen-UI-Agent 是阿里巴巴 Qwen 团队推出的新基座 GUI 智能体,可处理移动、电脑、网页和 DeepSearch 任务,在移动端使用基准测试上达到最先进性能,在电脑/浏览器任务上取得有竞争力的结果,并在统一动作空间内结合 GUI 与 CLI 动作。
StateAct 提出了一种代码优先的多代理系统,用于长时域计算机使用代理,该系统直接操作程序状态而非截图,在 OSWorld2.0 上实现了更高的成功率和更低的成本。
一个开源、设备端的大语言模型,它理解您的全部生活,并主动提供通过计算机操作完成您的工作,从而实现仅通过本地推理才能实现的用例。
Prentis是由Reid Hoffman和Marc Pincus联合创立的AI研究实验室,正以10亿美元估值融资1亿美元,用于构建能自动化办公流程的计算机使用智能体。该初创公司声称其Hive-32B模型在基准测试中优于GPT-5.4和Claude Opus 4.6,且成本显著更低。
OpenAI 为其 ChatGPT 桌面应用增加了语音模式,该模式由新的 GPT-Live 模型驱动,允许用户免提控制 AI 代理并执行任务。此次更新还支持 macOS 上的计算机使用技巧和 Appshots。
Microsoft AI Frontiers 开源了 MagenticLite,包括 MagenticBrain 14B 编排器和 Fara 1.5 计算机操作模型,现已在 Hugging Face 上提供开放权重及完整应用栈。
Niall Dabit 解释了云代理的一种心智模型,将其视为可通过HTTP访问的无限克隆的笔记本电脑环境,并描述了一个使用DevinAI的Hermes Agent分支进行自动化分支维护的实验。
文章认为,电脑使用/浏览器使用的AI能力进展非常迅速,并且将使网络代理化,因为大部分网络缺乏API。
一位科技影响者(@swyx)分享了他对计算机使用代理(CUA)快速进展的看法,引用了历史里程碑以及GPT、Anthropic和Adept的当前发展,同时警告说,低估CUA的能力对于AI决策者来说是一个危险的错误。
Coasty 是一个用于构建计算机操作代理的新 API,提供任务运行、工作流、托管机器以及较低层的预测原语。
LangChain 今天举办一场活动,时间为上午11点太平洋时间 / 下午2点东部时间,旨在教授如何安全地让智能体拥有自己的电脑。
Anthropic的Claude现在能让每个AI智能体拥有自己的电脑,但让它们完全胜任工作仍具挑战。
Pi社区开源了基于逆向工程OpenAI Codex Computer Use的模型无关的计算机使用工具pi-computer-use,支持macOS和视觉后备。
OpenAI 发布了 GPT-5.6 Sol,这是一款旗舰模型,适用于跨应用和企业数据的长时间自主工作,配备超频模式(Ultra mode)及子代理,可实现更快、更强的结果。该模型内部被用于辅助训练 Luna,并在成本和性能上相较此前版本有显著提升。
pi-computer-use v0.4.3 已发布,实现了与 Codex 的功能对等,新增了幽灵光标、子代理并行任务以及改进的批处理,使得延迟降低约 50%,并能更好地处理如 Microsoft 应用等复杂场景。
作者分享了利用 harness engineering 和免费的 NVIDIA NIM 端点构建 AI 代理的个人经验,这些代理能够自动化复杂的多步骤工作流,例如创建 AI 视频系列和酒店预订系统,并建议网络爬虫服务可以被免费的前沿模型取代。
讨论了一种将Computer Use与前沿模型相结合的AI框架,重点在于模型能力和训练,而非文件/浏览器或MCP相关主题。
本文解释了批处理和并行操作如何改善AI计算机使用系统中的延迟和效率,重点介绍了pi-computer-use和cua-driver等开源实现,它们在Codex出现类似功能之前就取得了显著的性能提升。
Meta 发布了 Muse Spark 1.1,这是首个提供 API 的 Spark 模型,在代理工具调用和计算机使用方面进行了改进。