筛选：首页硬件Skills模型api区块链服务器运维程序员建站SEO节点
Midscene.js - 视觉驱动 UI 自动化
程序员

Midscene.js - 视觉驱动 UI 自动化

字节开源视觉UI自动化框架15k stars：AndroidWorld跑分93.1%，一句话让AI点美团订酒店，60个任务模型成本仅0.59美元

介绍

Midscene.js 是字节 Web Infra 团队开源的 AI 视觉 UI 自动化框架：用自然语言指挥它「看屏幕、做操作、验结果」，不用写选择器、不依赖 DOM 或无障碍标签，图标按钮、canvas 画布、跨域 iframe 里的元素都能直接定位点按。

核心特点

特性说明
🔍 纯视觉驱动基于截图识别 UI 元素，无需 DOM 或 accessibility labels
🌐 跨平台同一套 Agent API 通吃 Web / Android / iOS / 鸿蒙 / 桌面应用
🗣️ 自然语言aiAct 下指令、aiAssert 验结果、aiQuery 抽数据
🤖 多模型自选Qwen3.x、豆包 Seed 2.1、DeepSeek V4、GLM-4.6V、Gemini、UI-TARS 都能接，开源模型可自部署
📊 可观测HTML 报告完整回放截图、元素定位、AI 决策过程，方便排查

跑分有多能打

基准Pass@1用的模型
AndroidWorld（安卓实机任务）93.1%Gemini-3.5-Flash
MobileWorld78.6%Gemini-3.6-Flash
AppControlBench96.7%豆包 Seed 2.1 Turbo

成本也压得狠：AppControlBench 60 个任务全程跑完，模型调用费总共 $0.59（截图方案不用把大 DOM 树塞给模型，token 省了一大截）。

实机案例（官方 Showcase）

  • iOS 上自动点美团咖啡下单
  • Android 上查小米 SU7 参数、订圣诞酒店
  • Web 上自动注册 GitHub 表格并通过全部校验
  • 社区玩法：机械臂+视觉+语音做车载测试

测试套件 Midscene Test（Beta）

YAML 写用例 + TypeScript Node 封装 API 调用/数据准备/清理，退款测试可以「API 造单 → UI 点退款 → 自动验证」一条龙；自带脚手架、重试、并发隔离，还能生成 Markdown 能力清单让人和 AI Agent 共同维护用例。

快速上手

  • 零代码试玩：装 Chrome 扩展开 Playground，对着当前页面直接喊指令
  • 进项目：npm i @midscene/web，配 Playwright/Puppeteer 都行
  • 让 AI Agent 操作界面：装 Midscene Skills

GitHub 15k+ stars。上一篇介绍是 4 月发的（当时 12k stars），这次补上 AndroidWorld 93.1% 跑分、实机案例和 Midscene Test 新套件。

21600举报1子龙•7个月前
点击获取 ^_^
被收录：
自动化UI视觉
  • 子龙1个月前

    +1