# iPhone Use - 让 Codex 通过 USB 操作真实 iPhone（WDA控件树路线，免越狱开源2k星）

> Mac插上iPhone用自然语言指挥Codex干活：开App读页面点按钮输中文，控件树路线不瞎猜坐标！

## 是什么

iPhone Use 是一个 Codex 插件 + 本地 MCP 服务：**让 Codex 通过 USB 直接操作你的真实 iPhone**。用自然语言下任务——「打开备忘录新建草稿输入这段话」「搜索这个关键词整理前几项结果」「滚动读取列表去重」——Codex 就在真机上开 App、读页面、点击、滑动、输入中文长文本，侧边栏还带一个实时手机屏幕预览。

GitHub **2k star**、昨天还在更新，MIT 开源。不需要越狱，不需要跑 Appium Server，一条 Mac + 一根 USB 线 + 一台真 iPhone 就齐活。

## 跟「AI 截屏控手机」不是一回事

市面上 AI 控手机大多是「截屏→视觉大模型看图→猜坐标」，慢且贵。iPhone Use 底层是 **WebDriverAgent（WDA，Appium 官方维护）**，直接读 iOS 的**控件树**：

- 按控件点，不靠猜坐标；控件定位失败才回退「看截图→换算坐标」
- 紧凑控件树省 token：只要截图时不生成 XML，模型往返次数大幅压缩
- 17 个工具：组合动作（batch）、有界滚动查找、列表采集去重、失败恢复全都内置
- 明确的失败语义：断线/超时先读实际状态再决定，**不盲目重放点击**——这个设计很成熟

一句话：这是「Third Hand 在 macOS 上干的事」（读控件树+结构化操作）在 iOS 上的等价物，而且是给 Codex 用的完整工程化实现。

## 能干什么

| 场景 | 例子 |
|---|---|
| App 批量操作 | 打开目标 App → 搜索 → 读结果 → 整理汇报 |
| 中文长文本输入 | 一次给全 Unicode 文字，长文自动分段续传 |
| 列表采集 | 分段滚动+去重，报告已覆盖和未确认范围 |
| 日常杂活 | 备忘录建草稿、设置里改开关、App 内签到 |

**安全边界做得克制**：密码、验证码、Face ID 留给用户本人；输入与提交分离，关键操作模型要先核对；遥测匿名且可一键关闭（`IPHONE_USE_ANALYTICS=0`）。

## 上手门槛（要有心理准备）

- 需要 **macOS + 完整 Xcode + Apple 开发者账号（免费个人 Team 也行）**，用自己的证书给 WDA 签名
- 首次要在真机上装 WDA Runner——README 提供了一段提示词，**让 Codex 自己帮你装**，这体验相当元
- iOS 大版本更新后 WDA 可能要重签/重装；USB 连接期间手机保持解锁
- 注意：README 写明仓库目前私有，需要 GitHub 访问权限或已取得的源码包（2k star 的私有仓，属于作者限流开放的状态）

## 适合谁

- 有 Mac + iPhone，想让 Codex/Claude 干真机杂活的效率党
- 做 iOS 自动化测试想借 AI 自然语言驱动的开发者
- 关注「控件树路线」的 AI Agent 玩家——这是比截屏路线更值得研究的工程范本

---

**分类**：MacOS
**标签**：iPhone · Codex · 控件
**作者**：子龙
**链接**：https://octohz.com/p/2317