状态追踪是手机用AI最难的部分吗？

我最近在研究移动端代理，有一件事感觉与浏览器/电脑使用代理不同。在桌面上，许多任务仍然发生在相对稳定的界面中：浏览器标签页、文件、终端、Web应用、API等。而在手机上，代理必须应对更多混乱的状态变化： - 键盘打开并改变布局 - 权限弹窗打断流程 - 应用重新加载或切换上下文 - 一次误触可能让你进入完全不同的屏幕 - 同一任务可能跨越多个应用 因此，我目前的猜测是：难点不在于“代理能否点击按钮？”而在于UI变化后，代理能否追踪自己所在的位置。对于从事过移动自动化/GUI代理/Android代理的人来说：这与你的经验相符吗，还是其他失败模式更令人头疼？