esp32-iphone-agent - 一块开发板让AI操控真iPhone

这是个啥

一块 $7 的 ESP32-S3 开发板插到 iPhone 上，AI 就能替你操作这台手机——不要电脑、不越狱、不改系统。你说"设一个每周一周二早 8 点的闹钟"，它自己跳出 App、打开时钟、拨时间轮、勾选日期、保存，全程你看着它点。

GitHub 2.4k star，MIT 协议，iOS 18+ 可用。

为什么它值得关注：苹果墙上开了个侧门

iPhone 的封闭是出了名的——没有系统级自动化接口，电脑端的投屏控制方案又都得拖一台电脑。这个项目的答案是：用硬件伪装绕开软件限制，三个角色各司其职：

板子自己开 Wi-Fi 热点收投屏流（H.264 透传不解码），经 BLE 转发给手机上的 App；手机同时走蜂窝流量访问大模型。点击是相对指针，App 会自动校准防漂移；每次操作后等画面稳定再判断有没有变化，断链了暂停续跑。每一步执行记录都留在手机里可回放复盘。

门槛和短板（别抱错期望）

硬件清单：Seeed XIAO ESP32S3 普通版（约 $7，别的带原生 USB + PSRAM 的 S3 板子也行）+ iPhone（iOS 18+，要有蜂窝流量；USB-C 直插，Lightning 要相机转接头）+ 一台 Mac（仅刷固件和编译 App 用一次，运行时不参与）。

实测短板：

• BLE 带宽 300-500 kbps，镜像画面只有 480×1040、≤5 fps，每步操作要几秒，大部分时间在等模型思考
• 键盘输入只支持 ASCII，中文输入还不行（路线图里排着呢）
• 只支持竖屏 App；锁屏、密码页、Apple Pay、DRM 视频这些 iOS 不让镜像的画面它看不见
• App 要离开自身用的是 iOS 私有 API，自用没问题，上不了 App Store

一个有意思的细节

这个项目本身就是用 Qwen3.8-Flash-Next（NVFP4，双 DGX Spark 上跑的）开发的——就是现在本地部署圈最火的那个 125B 模型。它对模型完全不挑：vLLM、SGLang、llama.cpp、Ollama、各家云 API，随便接，planner 和 actor 还能分开用不同模型。

一句话总结

想做 iPhone 自动化、给爸妈远程演示操作、或者纯玩"AI 替我玩手机"的，这是目前最野也最完整的路子——几十块钱硬件 + 自签 App，就能让大模型长出一双操作 iPhone 的手。要的是速度和中文输入的话，再等等它的路线图。

仓库：https://github.com/onehumanbeing/esp32-iphone-agent （MIT，2.4k star，持续活跃更新）