标签
该论文提出了一种在线强化学习框架,在真实运行的 iOS 应用上训练 UI 导航智能体,将其解耦为规划智能体和 UI 定位模型,并采用一种新颖的邻居条件化价值估计方法(GiGPPO),以提高价值评估器的稳定性并降低推理成本。他们的 80 亿参数强化学习智能体在真实 iOS 应用上的表现优于监督微调(SFT)基线,与 Gemini-3.1-Pro 相当,同时展现出向 Android 平台泛化的强大能力。
iPrefBench 是一个以用户为中心的基准测试,用于评估个性化移动智能体在带有模拟用户的可执行 iOS 环境中,能否从活动历史中推断缺失偏好或主动请求澄清。对 7 个前沿智能体的评估显示存在较大差距:动作完成率高(最高达 91.6%),但完整任务成功率低(最高仅 47.7%),智能体尤其难以主动请求必要的信息。
作者探讨为什么移动智能体(mobile agents)的表现远不如编码智能体(coding agents),指出手机具备摄像头、传感器、位置、通知和大量个人上下文等丰富资源,但现有移动智能体多为普通AI助手套壳或仅点击屏幕的简单实现,并提出关于限制因素(模型能力、系统限制、工具链或问题定义方式)的开放讨论。
南京大学的一项实证研究,旨在探究将速度更快、成本更低的决策模型(TypeSafe AI 的 Jev)整合到大语言模型智能体工作流程中,是否确实能提升任务层面的效率和可靠性。该研究在 ALFWorld 和 AndroidWorld 上对五个智能体进行了评估,共执行了 4,500 次任务。
OpenMobile-2 提出了 MobileGym++——一个包含 110 多个可控商用风格应用的可扩展环境,并为移动智能体设计了混合 GUI/CLI 模式,在真实设备任务上实现了近 2 倍的性能提升。所有环境、数据、基准测试和模型均已完全开源。
本文详细介绍了驱动移动AI智能体的虚拟机技术,例如Claude Code的Firecracker微虚拟机和Instinct使用的E2B沙箱,强调其安全性和生命周期管理。
该推文讨论了移动设备上功能齐全的智能体如何推动语音AI增长,作者提到因Instinct而大幅增加语音输入使用,并引用Jane Manchun Wong关于Instinct在iPhone上的“Talk to Instinct”功能的推文。
作者质疑依赖 API 访问的传统移动代理方法,并提出通过类似 aiden-firmware 的硬件使用屏幕理解来实现更通用的代理,使其能像人类一样交互。
本文介绍了CRATE,一个使用步级后果推理来评估移动代理的两阶段框架,在AndroidWorld和MobileRisk等基准测试上取得了高F1分数。
CoAdapt-GUI is a test-time adaptation framework for mobile GUI agents that jointly adapts workflow context and policy, improving performance on unseen-app benchmarks like AndroidWorld-Generalization and AndroidWorld Plus.
本文介绍了 MobileJudgeBench,一个包含 931 条人工标注轨迹的基准,用于系统评估移动智能体任务中基于 LLM 的评判器。研究发现,带有采样屏幕截图的简单基线评判器可与专用方法相媲美甚至更优,而 LLM 主干是质量的主要驱动因素。
Introduces AndroidReality, a perturbation-based framework for evaluating and improving the robustness of mobile agents, with a taxonomy of real-world interface perturbations and a training-free Test-Time Introspective Recovery (TTIR) mechanism.
介绍了iOSWorld,一个交互式原生iOS模拟器基准测试,具有跨26个应用的持久用户身份,旨在通过133个难度递增的任务评估个性化移动代理的能力。
MIRAGE 是一个面向移动端 GUI 智能体的框架,它以紧凑的连续潜在表示取代冗长的思维链推理,并融入生成式世界模型视角,在执行操作前预测未来的屏幕状态。在 AndroidWorld 和 AndroidControl 基准测试中,该框架在减少超过 75% 生成 token 的同时,实现了具有竞争力或更优的性能表现。
本文提出了一种用于主动移动代理的预推理感知框架(PRPF),将干预时机与辅助生成解耦,以提高效率并减少误触发。
作者观察到手机用AI代理最难的部分是追踪状态变化,因为移动界面相比桌面有更多动态和中断性的UI变化,并询问他人的经验。