标签
本文介绍了一种用于移动GUI代理的混合交互方式,通过应用原生深度链接进行增强,以减少导航步骤并提高任务成功率。所提出的GUI-Hopper代理学习何时使用深度链接进行直接导航,以及使用GUI操作作为后备方案,在模拟和真实设备评估中均表现出增益。
StepReflect将移动智能体的逐步GUI反思重构为监督式结构化预测,在AndroidWorld上实现了比GPT-5.2更高的转换准确率,同时降低了API成本。
提出了门控后见蒸馏(GHD)方法,利用未来截图作为训练期间的特权信息,恢复移动GUI智能体的正确推理,在AndroidWorld和AndroidLab上两个视觉语言模型中提升了任务成功率。
介绍了SeerGuard,一个针对移动GUI代理的后果感知安全框架,该框架使用安全增强的世界模型在执行前评估风险,提高了安全-效用分数。
本文介绍了任务状态表示(TSR),一种无需训练的框架,它将持久任务状态与瞬态屏幕观察解耦,以改进长时程移动GUI代理,在复杂任务上实现了高达12个绝对百分点的成功率提升。
MobileForge提出了一种针对移动GUI智能体的免标注适配系统,该系统利用真实应用交互和分层反馈引导的策略优化来提升性能,在AndroidWorld上使用开放数据取得了接近最优的结果。
UI-KOBE 提出了一种框架,通过构建和利用特定应用的知识图谱来增强轻量级移动GUI代理,从而提高任务规划和执行效率。
MobileExplorer是一个新框架,通过在模型推理期间对UI元素进行轻量级并行探索,加速移动GUI智能体的设备端推理,将推理步骤和延迟降低23%,同时保持或提高任务成功率。
SimuWoB是一个合成基准测试,包含120个具有挑战性的移动GUI智能体任务,使用高保真虚拟环境并自动生成奖励。实验表明,当前智能体的平均成功率仅为27.92%,在长时程任务上降至17.82%,表明在复杂场景中存在显著弱点。