让智能体在真实 iPhone 上自由操作,教会了我先构建紧急停止开关

Reddit r/AI_Agents 工具

摘要

作者构建了 sidetap,这是一个 Python 工具集,允许 LLM 智能体通过 USB 从 Windows 控制真实 iPhone,并具备紧急停止开关和护栏等安全功能。文章详细介绍了使用免费 Apple ID 侧载 WebDriverAgent 所面临的技术挑战,并介绍了这个开源工具。

第一次看到智能体操控你的真实手机时,那种感觉真的很不安。所以红色 STOP 按钮、实时活动流和发送护栏在大多数功能之前就加进去了。我希望 LLM 智能体能够发送短信并在我 iPhone 上随意浏览。我找到的每条路径都假设你有一台 Mac:iPhone 镜像、Xcode、macOS 上的 Appium。但我用的是 Windows 台式机,而且我性格倔强。所以我构建了 sidetap。它是一个 Python 工具集,能让智能体(或你,从浏览器)通过 USB 从 Windows 查看并控制真实 iPhone。不需要 Mac,不需要越狱,也不需要付费 Apple 开发者账号。几乎让项目夭折的部分:使用免费 Apple ID 侧载 WebDriverAgent 安装正常,但它从未真正启动。原来 Sideloadly 只对外层应用签名,却让嵌套的 .xctest 运行器保持未签名状态,所以 iOS 默默地拒绝加载它。我在任何地方都找不到相关文档。我的修复方案是抓取 Sideloadly 生成的配置文件(它会在你的临时文件夹里停留几百毫秒),然后用 go-ios 在本地重新签名整个应用。没有脚本化 Apple 密码,也没有任何东西向外部发送信息。它的功能:智能体读取真实的 UI 元素树,所以 tap_text("General") 会点击实际的按钮。没有 OCR,没有视觉模型;浏览器中的实时查看器约 34 fps。点击即点按,拖动即滑动,在键盘上输入。一键调用,比如 send_message("Mom", "on my way"),并有护栏在联系人匹配看起来模糊时拒绝发送。原生 MCP 工具,所以 Claude Code 会把整个 API 当作类型化工具调用来使用。一个巨大的红色 STOP 按钮,在你继续盯着屏幕的同时冻结智能体。看着智能体操控你的真实手机,第一次确实令人不安,所以紧急开关很早就加上了。一个 doctor 命令,每个失败的检查都会打印出修复它的精确命令。缺点:免费 Apple ID 签名每 7 天过期一次。一条命令即可重新签名,doctor 会倒计时天数,这样就不会让你措手不及。MIT 许可证,仓库在评论中。希望得到反馈,尤其是那些与 iOS 代码签名搏斗并因此损失了一个周末的人。
查看原文

相似文章

我把我的真iPhone交给了我的智能体..

Reddit r/openclaw

一位开发者创建了一种方法,让AI智能体通过API控制真实iPhone,实现起草iMessage、运行iOS快捷指令和移动应用测试等任务。他们提供了70部手机供实验使用。

让你的AI代理访问安卓手机

Reddit r/openclaw

一个开源工具,通过套接字连接让AI代理完全交互式控制安卓手机,实现发短信、打电话、使用应用等操作。