标签
一段视频演示展示了完全由本地运行的 Clef-Flash 9B 决策模型处理网页浏览任务的过程。该模型在运行时提取页面文本以指导决策，并在 11–17 秒内完成任务，但在复杂用户界面上的性能会下降。
WinMind 是一个早期的Windows MCP服务器，它使用无障碍树进行代理交互，而非截图，旨在提高计算机使用代理的效率和可靠性。
Arize通过集成JavaScript沙箱增强PXI工作流，实现多步骤UI任务自动化，使助手能通过代码控制用户界面，从而获得更快的结果。
本文介绍了Windows Harness，这是一款开源Python工具，旨在自动化各种Windows任务，具备UI自动化、屏幕截图、原始输入功能，并可与浏览器、文件系统和PowerShell集成。
作者为AI代理开发了一个持久层，使其能记住应用UI结构，将操作时间从110秒减少到59.9秒，并提高了如自动化Telegram Desktop等任务的效率。
LUMOS引入了一个语义交互层，将操作系统元数据转换为机器可读格式，通过减少对截图和视觉方法的依赖，使AI代理能够更高效地与计算机界面交互。
展示了新的自我修改工具在canvas上绘制房屋，声称可以处理任何UI元素。
A comparison of Midscene and Browser-Use, two open-source tools with different focuses: Browser-Use is a web agent for one-time tasks, while Midscene is a vision SDK designed for reliable multi-platform repeated execution.
Midscene的Computer Agent让桌面UI自动化可以在Linux CI中无头运行，通过xvfb-run自动化，无需真机或VM，支持Electron、Qt、GTK应用。
ScreenSearch 引入了一个用于歧义感知桌面探索的系统，结合了结构化屏幕检索与去重技术，以及一个基于 PUCT 的图赌臂算法，用于处理 GUI 代理中的部分可观测性。该系统在 11 个应用中收集了超过 100 万张截图，并展示了探索策略中新颖性与歧义性之间的权衡。
Midscene.js 团队决定从 DOM + 视觉混合方案彻底转向纯视觉 UI 自动化，认为未来 UI 自动化必然要基于屏幕截图而非 DOM。这一改变降低了 Token 消耗并简化了跨平台适配。
作者介绍了 Pupil，这是一款开源工具，使 AI 代理能够视觉检查 PC 用户界面并识别点击目标，而无需依赖截图。
一位开发者展示 AI 智能体如何自主修改浏览器自动化工具，以应对 Google 幻灯片界面中的极端边界场景。
Google 通过 Gemini API 发布 Gemini 2.5 计算机使用模型，使开发者能够构建可通过点击、输入和滚动与用户界面交互的 AI 代理。该模型在网页和移动控制基准测试中表现优异，延迟更低，现已在 Google AI Studio 和 Vertex AI 中提供预览版。