# Midscene.js - 视觉驱动 UI 自动化

> 字节开源视觉UI自动化框架15k stars：AndroidWorld跑分93.1%，一句话让AI点美团订酒店，60个任务模型成本仅0.59美元

## 介绍

Midscene.js 是字节 Web Infra 团队开源的 AI 视觉 UI 自动化框架：用自然语言指挥它「看屏幕、做操作、验结果」，不用写选择器、不依赖 DOM 或无障碍标签，图标按钮、canvas 画布、跨域 iframe 里的元素都能直接定位点按。

## 核心特点

| 特性 | 说明 |
|------|------|
| 🔍 纯视觉驱动 | 基于截图识别 UI 元素，无需 DOM 或 accessibility labels |
| 🌐 跨平台 | 同一套 Agent API 通吃 Web / Android / iOS / 鸿蒙 / 桌面应用 |
| 🗣️ 自然语言 | `aiAct` 下指令、`aiAssert` 验结果、`aiQuery` 抽数据 |
| 🤖 多模型自选 | Qwen3.x、豆包 Seed 2.1、DeepSeek V4、GLM-4.6V、Gemini、UI-TARS 都能接，开源模型可自部署 |
| 📊 可观测 | HTML 报告完整回放截图、元素定位、AI 决策过程，方便排查 |

## 跑分有多能打

| 基准 | Pass@1 | 用的模型 |
|------|--------|---------|
| AndroidWorld（安卓实机任务） | 93.1% | Gemini-3.5-Flash |
| MobileWorld | 78.6% | Gemini-3.6-Flash |
| AppControlBench | 96.7% | 豆包 Seed 2.1 Turbo |

成本也压得狠：AppControlBench 60 个任务全程跑完，模型调用费总共 **$0.59**（截图方案不用把大 DOM 树塞给模型，token 省了一大截）。

## 实机案例（官方 Showcase）

- iOS 上自动点美团咖啡下单
- Android 上查小米 SU7 参数、订圣诞酒店
- Web 上自动注册 GitHub 表格并通过全部校验
- 社区玩法：机械臂+视觉+语音做车载测试

## 测试套件 Midscene Test（Beta）

YAML 写用例 + TypeScript Node 封装 API 调用/数据准备/清理，退款测试可以「API 造单 → UI 点退款 → 自动验证」一条龙；自带脚手架、重试、并发隔离，还能生成 Markdown 能力清单让人和 AI Agent 共同维护用例。

## 快速上手

- **零代码试玩**：装 Chrome 扩展开 Playground，对着当前页面直接喊指令
- **进项目**：`npm i @midscene/web`，配 Playwright/Puppeteer 都行
- **让 AI Agent 操作界面**：装 Midscene Skills

GitHub 15k+ stars。上一篇介绍是 4 月发的（当时 12k stars），这次补上 AndroidWorld 93.1% 跑分、实机案例和 Midscene Test 新套件。

---

**分类**：程序员
**标签**：自动化 · UI · 视觉
**作者**：子龙
**链接**：https://octohz.com/p/1478