gui-agents

标签

Cards List
#gui-agents

PhoneWorld:从真实应用交互轨迹到面向手机操作智能体的动态可验证环境

arXiv cs.CL ↗ · 11小时前 缓存

本文介绍了 PhoneWorld,这是一个以交互轨迹为基础的框架,可将真实应用的交互轨迹转化为可运行、可重置、可验证的 Android 环境,覆盖 16 个领域的 34 款应用,支持手机操作智能体的基准评测、经验证的交互轨迹生成以及在线强化学习。

0 人收藏 0 人点赞
#gui-agents

CANDID:以候选方案驱动干预,实现本地计算机操作智能体的规范执行

arXiv cs.CL ↗ · 11小时前 缓存

本文提出了 CANDID,这是一种执行控制框架,将并行测试时扩展重新用于稀疏的、候选驱动的干预,以提高本地计算机操作智能体的可靠性。该框架包含循环恢复过滤机制和要求一致判定为 DONE 的门控策略,并在 OSWorld 上进行了评估。

0 人收藏 0 人点赞
#gui-agents

Movie2Game-Bench:超越可玩性的电影改编游戏综合评估

Hugging Face Daily Papers ↗ · 2天前 缓存

该论文提出 Movie2Game-Bench(M2G-bench),一个超越可玩性的电影改编游戏综合评估基准,包含22部电影和658个参考项,对14个模型在游戏质量、改编保真度与玩家体验方面进行评测,并揭示了可玩序列生成的普遍短板。

0 人收藏 0 人点赞
#gui-agents

IDEA:面向 GUI 智能体推理时后门检测的意图主导性证据审计

Hugging Face Daily Papers ↗ · 2天前 缓存

IDEA 是一种步骤级的推理时审计方法,通过将指令与区域诱导的决策状态偏移同干净共形基线进行比较,从而在开放权重 GUI 智能体中检测视觉触发后门,并在可控的误报率下定位触发器。

0 人收藏 0 人点赞
#gui-agents

Mage-VL-Cowork:从演进式运行框架中学习混合计算机操作的完整训练方案

arXiv cs.CL ↗ · 2026-11-02 缓存

微软 Mage 团队推出 Mage-VL-Cowork,这是一套用于学习混合式计算机操作的完整训练方案(包括基于演化后的执行框架进行数据合成、多阶段监督微调,以及在线混合强化学习),其中的 4B 模型在 OSWorld-Verified 上取得了相对于其规模而言的优异成绩。

0 人收藏 0 人点赞
#gui-agents

答案正确,关卡紧闭:面向验证屏障前 GUI 智能体的 SolveBind

arXiv cs.AI ↗ · 2026-10-26

提出 SolveBind 框架,将 CAPTCHA 验证分解为层级求解树并配合运行时监督器,在九类 CAPTCHA 任务与多个 GUI 智能体骨干模型上显著提升端到端成功率,同时揭示了恢复机制的成功率与成本权衡。

0 人收藏 0 人点赞
#gui-agents

并非所有图都是地图:面向移动 GUI 导航的任务无关探索框架

arXiv cs.AI ↗ · 2026-10-19 缓存

本文提出 TAG-Nav 框架,通过任务无关的图导航记忆为移动 GUI 代理提供可复用的导航知识,并引入 DestBench 导航评测协议,实验表明图记忆可显著提升 UI-TARS-1.5-7B 和 Qwen-VL-Max 的导航成功率。

0 人收藏 0 人点赞
#gui-agents

ECHOES:通过递归历史压缩与特权在线蒸馏洞察当前图像之外

arXiv cs.AI ↗ · 2026-10-19 缓存

ECHOES 提出一种通过递归历史压缩与特权在线蒸馏来增强长时程 GUI 智能体状态保持能力的方法,无需在部署时保留历史截图即可取得有竞争力的性能,并发布了细粒度诊断基准 ECHOESBMK。

0 人收藏 0 人点赞
#gui-agents

# 专注型全模态 GUI 智能体

Hugging Face Daily Papers ↗ · 2026-10-19 缓存

本文提出 FocusGUI,一个轻量级适配器,能够动态为 GUI 智能体选择相关的多模态证据,防止无关上下文导致的错误累积,从而在不微调主干模型的情况下提升动作准确率。

0 人收藏 0 人点赞
#gui-agents

MAI-Gym:面向移动端和计算机环境的开放式一体化 GUI 智能体评估与强化学习训练平台

arXiv cs.AI ↗ · 2026-10-16 缓存

阿里巴巴 MAI-UI 团队提出 MAI-Gym,一个开源的一体化平台,统一 GUI 智能体的评估、数据收集与在线强化学习训练,覆盖移动、电脑和 Web 环境,并训练出在 MobileWorld 和 OSWorld-Verified 上达到 SOTA 的 9B 模型 MAI-Gym-9B。

0 人收藏 0 人点赞
#gui-agents

学习如何记忆:GUI智能体的记忆模态选择

Hugging Face Daily Papers ↗ · 2026-10-13 缓存

该论文系统研究了VLM驱动的GUI智能体中的记忆模态选择问题,发现最优记忆表示是随交互步骤变化的,并提出SwitchMem路由框架在每一步动态选择文本或视觉记忆,在三个GUI基准上超越了使用静态记忆表示的基线方法。

0 人收藏 0 人点赞
#gui-agents

Work2Skill:捕捉人类 GUI 操作经验以归纳可复用的智能体技能

arXiv cs.AI ↗ · 2026-10-12 缓存

Work2Skill 提出一个框架,通过 WorkRecorder 收集人类 GUI 操作演示,构建 WorkDemo-350 多模态数据集,并用智能体式技能归纳方法从人类经验中提炼可复用的智能体技能,在 MyPCBench 和 OSWorld-Verified 上显著提升了多种执行模型的任务表现。

0 人收藏 0 人点赞
#gui-agents

@MaximeRivest:我猜计算机使用问题已经解决了!

X AI KOLs Timeline ↗ · 2026-10-11 缓存

一条简短的 X 帖子,开玩笑地说计算机使用似乎已经被“解决”了,并引用了一项对比,显示大型通用模型由于词汇更丰富,在计算机用户界面上定位目标的能力优于专用模型。

0 人收藏 0 人点赞
#gui-agents

MemoWM:世界模型如何改变智能体的记忆需求

arXiv cs.LG ↗ · 2026-10-09 缓存

MemoWM 提出一种以世界模型为条件的记忆分配框架,通过共享预测压缩智能体长期经验存储,在五个长时程智能体记忆基准上达到42.42%平均准确率,同时将经验特定存储降低53.9%。研究还揭示了共享模型容量与重复存储成本之间的权衡关系。

0 人收藏 0 人点赞
#gui-agents

面向 GUI 智能体的潜空间世界动作模型

Hugging Face Daily Papers ↗ · 2026-10-09 缓存

该论文提出将 GUI 世界模型的预测目标从全屏像素重建转移到潜空间中的动作诱导未来信息,通过共享的多模态模型表示配合动作头与转移头,并引入动作感知对比目标来缓解身份捷径问题,相比像素空间世界模型最高实现 31.9% 和 40.6% 的成功率相对提升,并将推理延迟降低最多 98.9%。

0 人收藏 0 人点赞
#gui-agents

对的界面,错的跳转:用世界模型验证GUI智能体

Hugging Face Daily Papers ↗ · 2026-10-08 缓存

论文提出LGWM,一种无解码器、以动作为条件的世界模型,在隐空间中预测下一屏的表征,以验证GUI跳转并检测被劫持的界面;在RSWT-BENCH基准上,每次决策耗时17毫秒即可达到0.987的AUC,以远低于生成式GUI世界模型的延迟超越了后者。

0 人收藏 0 人点赞
#gui-agents

基于动作条件的双模拟用于GUI智能体记忆管理

arXiv cs.AI ↗ · 2026-10-01 缓存

本文提出在经验性预测状态图上进行动作条件的双模拟,以判断GUI智能体在两个网页间的记忆何时应当合并,从而在无需任何训练的情况下,相比无记忆基线提升了MiniWoB++任务上的成功率。

0 人收藏 0 人点赞
#gui-agents

AutoGUIWorld:将图像生成器作为 GUI Agent 的视觉世界模型

Hugging Face Daily Papers ↗ · 2026-10-01 缓存

论文提出了 AutoGUIWorld,这是一个数据生成框架,利用图像生成器作为视觉世界模型来合成 GUI 交互轨迹,无需运行任何软件,最终产出 79,266 条带标注的样本;在这些样本上微调 Qwen3.5-35B-A3B 后,其在 OSWorld 上的任务得分从 33.0% 提升至 40.8%,在 ScienceBoard 上的成功率从 14.0% 提升至 32.2%。

0 人收藏 0 人点赞
#gui-agents

相关性并不意味着适用性:面向个人 GUI 智能体的经验激活

Hugging Face Daily Papers ↗ · 2026-09-27 缓存

提出了 ExpActivator,一个免训练框架,通过在冻结的 GUI 骨干网络的潜在空间中匹配当前屏幕与历史状态,仅激活与当前情境相关的经验,而非盲目追加任务相关历史;在四个 GUI 骨干网络上将轨迹内步骤成功率平均提升 28%,同时仅使用约五分之一的历史 token。

0 人收藏 0 人点赞
#gui-agents

从自身交互中学习行动:GUI代理的在策略自蒸馏

arXiv cs.AI ↗ · 2026-09-24 缓存

本文介绍了GUI-SD-v2,一个用于多轮GUI代理的两阶段在策略自蒸馏框架,该框架增强了特权跟随和指导能力,在AndroidWorld和MobileWorld基准测试中表现出色。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈