gui-agents

介绍了MacArena，这是一个包含50个应用程序中421项任务的基准测试，用于评估macOS上的计算机使用代理，强调现有基准测试可能无法捕捉macOS特有的挑战。

StainFlow为GUI代理引入了一种实体污点流过程奖励模型，通过全局实体污点追踪和局部证据关联来改进强化学习中的信用分配，在AndroidWorld上实现了3.2%的相对提升。

DeskCraft 是一个新的基准，用于评估桌面GUI代理在长周期专业创意工作流中的表现，并纳入了人机协作协议。它通过需要超过50个步骤的设计、视频、音频和3D软件任务来测试代理。

引入GUI-RobustEval（一个用于GUI代理错误恢复的基准）和鲁棒性驱动轨迹合成（RoTS）以生成训练数据，在OSWorld上达到当前最佳性能。

AQuaUI是一种无需训练、推理时即用的GUI代理模型令牌减少方法，利用自适应四叉树降低截图中的空间冗余，实现了高达13.22%的加速和29.52%的视觉令牌减少，同时保留了99.06%的性能。

MementoGUI 提出了一种用于 GUI 代理的插件式智能体记忆框架，该框架使用学习到的控制器进行选择性记忆管理与检索，通过压缩的视觉与文本表示提升了长期任务的性能。

提出了Video2GUI，一个从无标签教学视频中自动提取GUI交互轨迹的框架，构建了包含12M条轨迹、覆盖1500+应用的WildGUI数据集。在该数据上进行预训练，在GUI定位和动作基准测试上提升了5-20%。

WebHarbor 将 15 个真实网站（Amazon、GitHub、BBC 等）打包为自包含的 Flask+SQLite 应用，置于单个 Docker 镜像中，支持亚秒级重置，专为可重复的网页智能体评估与训练而设计。该项目邀请社区贡献，以扩展到 100 多个网站，并提供合著机会。

ClawGUI 是一个开源框架，用于通过强化学习训练、评估和部署 GUI Agent，具备标准化基准测试能力，并支持跨平台部署至 Android、iOS 和 HarmonyOS。

MAI-UI技术报告介绍了一系列不同规模的基础GUI代理，通过自演进数据管道、设备云协作和在线强化学习来应对现实世界部署挑战，在GUI定位和移动导航基准测试上取得了最先进的结果。