Third Hand - 亚秒级 AI 电脑控制(不截屏,读界面控件+小模型决策,macOS菜单栏助手)

Third Hand - 亚秒级 AI 电脑控制(不截屏,读界面控件+小模型决策,macOS菜单栏助手)


AI控电脑从5秒干到亚秒级!不截屏读控件树,Jev小模型毫秒决策,还能后台不打扰执行!

是什么

Third Hand 是一个 macOS 菜单栏 AI 助手:用自然语言让它直接操作你 Mac 上的 App。在对话框里 @ 一个应用,比如 @Spotify play something chill,它就去读 App 的界面控件、点击、输入、检查结果,一条龙办完。

GitHub 上线即涨星的早期项目(★333,v0.1.3,更新非常勤),MIT 开源,Apple Silicon + macOS 14+,开发者 ID 签名公证,直接下载 .app 就能用。

为什么值得看:它换了条路

市面 AI 控电脑清一色「截屏 → 视觉大模型看图 → 想下一步」,一 step 五秒起步,token 烧得肉疼。Third Hand 抛弃了这个笨重路线:

  • 不碰像素:通过 macOS 辅助功能(Accessibility)直接读窗口里的按钮/输入框/控件,全变成结构化文本——就像给 AI 一个 API 而不是一张截图
  • 大模型只管拆任务:ChatGPT 一次性把任务写成步骤清单(点哪、输什么、按哪个键),步骤失败才重问
  • 小模型做选择:步骤和实际控件对不上时,TypeSafe 的 Jev 决策模型在候选控件里毫秒级「单选」出该点谁——这就是最近爆火的 System One 模型首个出圈应用

结果:操作延迟干进亚秒级,token 消耗压到截屏路线的零头。

真正的亮点:后台执行

按 ⇧↩ 让任务在后台跑:被控的 App 可以是最小化/隐藏状态,你的鼠标和前台窗口完全不被打断。原理是 arc-cua 驱动把窗口临时拉到屏幕外操作完再放回去。这是演示里最惊艳的一幕。

用前须知

  • 不是离线工具:任务规划走你的 ChatGPT 账号(gpt-6-sol),控件决策走 TypeSafe API,两个 key 都要配(存在 macOS 钥匙串里)
  • 早期实验品:纯图标界面、自定义编辑器、复杂手势可能翻车,官方明说"盯着点用"
  • Threads 设计很顺:每个 App 一个会话,"现在放第二首"这种追问天然支持

适合谁

  • 想第一时间体验「Accessibility 树 + 决策模型」新范式的极客
  • 受够了截屏路线又慢又贵的 Computer Use 用户
  • macOS 重度自动化玩家——这个项目指明了下一阶段 AI 控电脑的方向
16500举报0子龙•1个月前
点击获取 ^_^
被收录:

暂无评论