让智能体在真实 iPhone 上自由操作,教会了我先构建紧急停止开关
摘要
作者构建了 sidetap,这是一个 Python 工具集,允许 LLM 智能体通过 USB 从 Windows 控制真实 iPhone,并具备紧急停止开关和护栏等安全功能。文章详细介绍了使用免费 Apple ID 侧载 WebDriverAgent 所面临的技术挑战,并介绍了这个开源工具。
第一次看到智能体操控你的真实手机时,那种感觉真的很不安。所以红色 STOP 按钮、实时活动流和发送护栏在大多数功能之前就加进去了。我希望 LLM 智能体能够发送短信并在我 iPhone 上随意浏览。我找到的每条路径都假设你有一台 Mac:iPhone 镜像、Xcode、macOS 上的 Appium。但我用的是 Windows 台式机,而且我性格倔强。所以我构建了 sidetap。它是一个 Python 工具集,能让智能体(或你,从浏览器)通过 USB 从 Windows 查看并控制真实 iPhone。不需要 Mac,不需要越狱,也不需要付费 Apple 开发者账号。几乎让项目夭折的部分:使用免费 Apple ID 侧载 WebDriverAgent 安装正常,但它从未真正启动。原来 Sideloadly 只对外层应用签名,却让嵌套的 .xctest 运行器保持未签名状态,所以 iOS 默默地拒绝加载它。我在任何地方都找不到相关文档。我的修复方案是抓取 Sideloadly 生成的配置文件(它会在你的临时文件夹里停留几百毫秒),然后用 go-ios 在本地重新签名整个应用。没有脚本化 Apple 密码,也没有任何东西向外部发送信息。它的功能:智能体读取真实的 UI 元素树,所以 tap_text("General") 会点击实际的按钮。没有 OCR,没有视觉模型;浏览器中的实时查看器约 34 fps。点击即点按,拖动即滑动,在键盘上输入。一键调用,比如 send_message("Mom", "on my way"),并有护栏在联系人匹配看起来模糊时拒绝发送。原生 MCP 工具,所以 Claude Code 会把整个 API 当作类型化工具调用来使用。一个巨大的红色 STOP 按钮,在你继续盯着屏幕的同时冻结智能体。看着智能体操控你的真实手机,第一次确实令人不安,所以紧急开关很早就加上了。一个 doctor 命令,每个失败的检查都会打印出修复它的精确命令。缺点:免费 Apple ID 签名每 7 天过期一次。一条命令即可重新签名,doctor 会倒计时天数,这样就不会让你措手不及。MIT 许可证,仓库在评论中。希望得到反馈,尤其是那些与 iOS 代码签名搏斗并因此损失了一个周末的人。
相似文章
我把我的真iPhone交给了我的智能体..
一位开发者创建了一种方法,让AI智能体通过API控制真实iPhone,实现起草iMessage、运行iOS快捷指令和移动应用测试等任务。他们提供了70部手机供实验使用。
构建能点击真实应用的网页代理时,我通过艰难方式学到的几件事
一篇文章分享从构建能与真实网页应用交互的网页代理中获得的来之不易的经验,提供对挑战和最佳实践的见解。
让你的AI代理访问安卓手机
一个开源工具,通过套接字连接让AI代理完全交互式控制安卓手机,实现发短信、打电话、使用应用等操作。
你会让陌生人与一个掌握你整个世界的智能体聊天吗?我会,而且有人花了25条消息试图让它越狱
一位开发者描述了如何将个人AI幕僚长公开在网站上,并解释了为什么提示注入的最佳缓解方式是数据作用域限定和工具隔离,而非依赖提示指令。
打造了一个真正操作你电脑的智能体:哪些好用,哪些不行。
作者介绍了 Clark Agent,这是一个能在用户电脑上执行操作(浏览器、邮件、日历、文件)的 AI 智能体,分享了哪些功能好用,以及常见的痛点如验证码和脆弱的长时间工作流。