标签
RecVerse 是一个基于 GUI 的模拟代理，采用分层记忆和轨迹级强化学习来模拟现实的多轮电子商务购物流程，解决了现有模拟器的记忆和优化挑战。
UI-Mate-27B 是腾讯推出的一个开放权重基础GUI代理，它使用实时截图和演示引导适应来执行长期计算机任务。
介绍 KnowAct-GUIClaw，一个具有自我进化记忆和技能的个人GUI助手框架，在MobileWorld基准测试上实现了最先进的性能，并超越了GPT-5.5等闭源模型。
本文提出UI-MOPD方法，将多教师在线策略蒸馏与持续学习相结合，用于跨平台训练GUI智能体，同时介绍了Uni-GUI数据集。该方法在OSWorld和MobileWorld上分别达到38.2%和12.0%的任务成功率，展示了有效的跨平台能力保持与适应。
本技术报告介绍了Xiaomi-GUI-0，一个原生多模态GUI智能体，在真实设备环境中使用混合基础设施和渐进式训练管道进行训练和评估，在真实移动任务上实现了高成功率和改进的稳定性。
GUICrafter提出了一种弱监督GUI智能体，利用海量未标注截图和两阶段课程学习框架，减少对昂贵人工标注的依赖，仅用UI-TARS系统0.1%的数据即达到了与之竞争的性能。
一个自我改进的GUI代理，能从错误中学习，使用基于YOLO和OCR的感知堆栈，仅在需要时调用LLM，并在本地运行。它基于MIT协议开源。
H Company 发布了 Holo 3.1，一个开源专为本地部署优化的计算机使用大语言模型，在 AndroidWorld 基准测试中达到 79.3%，超越了更大的模型如 Qwen3.5-397B 和 Kimi-K2.5。
字节跳动开源了 UI-TARS-desktop 项目，包含通用多模态 Agent 框架 Agent TARS 和本地 GUI Agent UI-TARS Desktop，支持在终端/浏览器执行真实任务，基于 UI-TARS 视觉模型和 Seed-1.5-VL，采用 Apache 2.0 许可。
本文介绍PAGER，一种拓扑感知智能体，弥合了点精确GUI控制中的语义-执行鸿沟，在全新PAGE Bench上实现比基线高4.1倍的任务成功率。
UI-TARS-desktop is a highly popular open-source tool by ByteDance that enables 100% local multimodal desktop automation, allowing users to control apps and browsers via natural language without cloud data leaks.
OmniGUI引入了一个针对GUI智能体的步骤级基准测试，该测试整合了静态图像、同步音频和视频片段，以模拟真实的智能手机交互。评估显示，当前模型在处理时序和听觉输入方面存在困难，凸显了对全方位模态能力的需求。
UI-TARS-2 是一款原生以图形用户界面为中心的代理模型，解决了数据可扩展性、多轮强化学习以及环境稳定性等挑战，在图形用户界面基准测试中取得了领先成果（Online-Mind2Web 88.2 分，OSWorld 47.5 分，WindowsAgentArena 50.6 分，AndroidWorld 73.3 分），优于 Claude 和 OpenAI 代理模型。
Page Agent 是一个来自阿里巴巴的开源 JavaScript 库，它让您通过自然语言控制网页界面，无需浏览器扩展或无头浏览器。
OpenAI demonstrates the 'Computer Use' feature in Codex, allowing the AI to directly interact with local GUI applications on macOS using an accessibility framework and the fast Spark model for non-blocking, high-speed automation.
ByteDance 发布了 TARS，这是一个多模态 AI 智能体技术栈，包含 Agent TARS（基于 CLI/Web UI 的通用 AI 智能体，支持 GUI、浏览器和终端任务）和 UI-TARS Desktop（由 UI-TARS 模型驱动的原生桌面应用，用于本地和远程计算机/浏览器自动化）。该技术栈将多模态 LLM 与 MCP 工具相结合，实现类人任务处理能力。