硬件级交互才是通用代理的未来,而非ADB。
摘要
作者认为,硬件级交互(HDMI采集+USB HID触摸模拟)优于基于ADB的自动化,可用于构建与操作系统无关的通用AI代理,并介绍了他们使用廉价RV1106开发板的项目Aiden。
所以我一直在琢磨这个想法,可能听起来有点疯狂,但我觉得我们都把移动自动化搞错了。每个人都专注于ADB命令或者root/越狱设备来获得深度控制,对吧?没错,那样可行,但总是依赖于特定操作系统,脆弱且维护起来痛苦。如果……如果你只是模拟人类触摸屏幕呢?就像,字面意义上的触摸。我们一直在构建一个叫Aiden的东西,它使用一个超级便宜的RV1106开发板——说真的,大概十美元——来采集手机的HDMI输出,在上面运行一些本地LLM,然后作为一个USB HID设备来“触摸”屏幕。没有ADB,没有root,只有纯粹的硬件级交互。它是与操作系统无关的,因为它不关心运行的是什么,只关心它看到的画面和需要点击的位置。目前最大的瓶颈是ReAct循环,确实存在明显的延迟,但我坚信这是真正通用代理的前进方向。比如,如果你想让AI像人类一样实际使用你的手机或平板,而不依赖于特定的API或软件版本,这似乎是唯一真正的路径。我一半觉得“这会不会是过度工程化,来解决一个已经有解决方案的问题?”但另一半想到它的灵活性。不再有“哦,这个应用更新了,我的脚本坏了。”它只会看到新的UI并适应。我有点兴奋,但也准备好被人说我是个白痴。总之,我们把一些演示材料放到了GitHub上,告诉我为什么这是个糟糕的主意,或者为什么它很出色。我遗漏了什么?
相似文章
开发AI代理硬件。我们搞错了什么?
一位开发AI代理硬件的开发者反思了专用硬件是否比现有的云端和本地解决方案更有优势,并邀请批判性反馈,以避免制造出错误的产品。
AI代理是否正在成为新的软件抽象层?
作者探讨了AI代理如何作为现有软件的新的抽象层,将用户交互从导航用户界面转向描述结果,从而减少将意图转化为可执行任务时的摩擦。
给 AI 配备真机比另一个浏览器代理更有趣
OpenGUI 被突出展示为一个新颖的 AI 代理平台,它利用实际的 Android 设备执行任务,相较于传统的基于浏览器的代理,提供了更真实的界面。
@vasuman: 始终看好AI时代的新硬件
Apoorv Shankar 筹集了550万美元,用于构建一种能够理解用户意图的AI硬件接口,旨在取代触摸屏和键盘。
本地AI代理如何才能对开发者真正有用?
作者探讨了什么样的特性能让本地AI代理对开发者真正有用,包括处理文件和仓库、安全使用终端、支持硬件/机器人项目以及离线能力。