我认为我们可能一直在以错误的方式思考移动代理。API 提供控制，但理解屏幕能带来别的东西。

好吧，这可能是个愚蠢的观点，但随着我对移动代理的了解加深，我越来越不确定给予 AI 越来越深的系统访问权限是否就是最终目标。当今大多数自动化之所以有效，是因为我们明确告诉系统它可以做什么：调用这个 API。运行这个函数。发送这个 ADB 命令。找到这个无障碍元素。是的，这效果很好。直到应用重新设计、API 更改或手机操作系统更新。然后突然间，你的一大堆自动化停止工作，因为整个系统是基于一个假设构建的：软件的 UI 和底层逻辑不会改变。但人类使用手机的方式并非如此。当我使用手机时，我根本不知道 Instagram 暴露了哪些 API，老实说，我也不在乎。我只是看着屏幕，识别按钮，理解发生了什么，然后点击我需要点击的地方。那么，为什么通用代理不能以同样的方式工作呢？我最近在 GitHub 上发现了一个叫做 aiden-firmware 的项目，我觉得这种方法相当有趣。它不是试图给予 AI 越来越深的软件级访问权限，而是使用硬件来捕获屏幕上实际显示的内容，让模型理解它所看到的，然后通过 USB HID 将操作发送回设备。基本上：看到屏幕 → 理解发生了什么 → 决定做什么 → 像人类一样与之交互。不需要为每个应用构建单独的集成。不需要 ADB。不需要 root 权限。显然，这种方法并不完美。它可能比直接调用 API 慢，视觉推理仍然可能出错。而且如果你只是在做重复性任务，并且已经有稳定的 API 可用，那么这确实是过度工程化。但如果目标是真正通用的代理呢？某种不需要有人事先为每个应用构建集成的东西。你可以把它放在一个它从未见过的设备前，它就能观察屏幕并弄清楚如何使用它。我开始认为理解屏幕可能比拥有更深层的系统级访问权限更重要。也许我遗漏了一些明显的东西，但我真的很想知道人们的想法。