
AI控电脑从5秒干到亚秒级!不截屏读控件树,Jev小模型毫秒决策,还能后台不打扰执行!
是什么
Third Hand 是一个 macOS 菜单栏 AI 助手:用自然语言让它直接操作你 Mac 上的 App。在对话框里 @ 一个应用,比如 @Spotify play something chill,它就去读 App 的界面控件、点击、输入、检查结果,一条龙办完。
GitHub 上线即涨星的早期项目(★333,v0.1.3,更新非常勤),MIT 开源,Apple Silicon + macOS 14+,开发者 ID 签名公证,直接下载 .app 就能用。
为什么值得看:它换了条路
市面 AI 控电脑清一色「截屏 → 视觉大模型看图 → 想下一步」,一 step 五秒起步,token 烧得肉疼。Third Hand 抛弃了这个笨重路线:
- 不碰像素:通过 macOS 辅助功能(Accessibility)直接读窗口里的按钮/输入框/控件,全变成结构化文本——就像给 AI 一个 API 而不是一张截图
- 大模型只管拆任务:ChatGPT 一次性把任务写成步骤清单(点哪、输什么、按哪个键),步骤失败才重问
- 小模型做选择:步骤和实际控件对不上时,TypeSafe 的 Jev 决策模型在候选控件里毫秒级「单选」出该点谁——这就是最近爆火的 System One 模型首个出圈应用
结果:操作延迟干进亚秒级,token 消耗压到截屏路线的零头。
真正的亮点:后台执行
按 ⇧↩ 让任务在后台跑:被控的 App 可以是最小化/隐藏状态,你的鼠标和前台窗口完全不被打断。原理是 arc-cua 驱动把窗口临时拉到屏幕外操作完再放回去。这是演示里最惊艳的一幕。
用前须知
- 不是离线工具:任务规划走你的 ChatGPT 账号(gpt-6-sol),控件决策走 TypeSafe API,两个 key 都要配(存在 macOS 钥匙串里)
- 早期实验品:纯图标界面、自定义编辑器、复杂手势可能翻车,官方明说"盯着点用"
- Threads 设计很顺:每个 App 一个会话,"现在放第二首"这种追问天然支持
适合谁
- 想第一时间体验「Accessibility 树 + 决策模型」新范式的极客
- 受够了截屏路线又慢又贵的 Computer Use 用户
- macOS 重度自动化玩家——这个项目指明了下一阶段 AI 控电脑的方向
暂无评论
