midscene.js：AI 在前端测试领域的应用-茅晓锋.pdf

1、19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九届D2终端技术大会19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九届D2终端技术大会19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九届D2终端技术大会19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九届D2终端技术大会Midscene.js:AI 在前端测试领域的应字节跳动 茅晓锋319TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九届D2终端技术大会19TH D2 TERMINAL

2、TECHNOLOGY CONFERENCE第十九届D2终端技术大会01030204起源：AI 模型与 UI 动化Midscene.js:AI 驱动的 UI 动化原理与模型Midscene.js:AI 驱动的 UI 动化实践与展望录PART ONE419TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九届D2终端技术大会19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九届D2终端技术大会Midscene.js:AI 驱动的 UI 动化起源：AI 模型与 UI 动化19TH D2 TERMINAL TECHNOLOGY CONFERENC

3、E第十九届D2终端技术大会19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九届D2终端技术大会AI x UI 动化的典型 Demo视频摘录-Claude Computer-use19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九届D2终端技术大会19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九届D2终端技术大会 商范围 OpenAI、Microsoft、Anthoropic特征产品领域 论、模型、SDK、应产品落地路径丰富 开源、商业化、App、SaaS、云.次亮相时间产品类型特性2023.10A

4、pple/Ferret UI论,开源模型元素定位2024.1Anthoropic/Claude Computer Use商业化模型桌软件交互，开放 API2024.7Bytedance/Midscene.js开源 SDK浏览器动化，浏览器插件，JS SDK2024.9Microsoft/OminParser开源模型，SDK界元素理解2024.11Browser Use开源 SDKPython SDK，提供云服务2025.1OpenAI/OperatorWeb App浏览器控制，商业产品2025.1Bytedance/UI-TARS开源模型GUI 交互能，同类产品 SOTA 标准模型与 UI 动

5、化模型19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九届D2终端技术大会19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九届D2终端技术大会Web 动化向 AI 转型AI 驱动的 UI 动化 基于界理解做操作，例直观可维护 HTML 与测试代码解耦 研发体验 10 x 提升典型的 Selector API 例传统 Web UI 动化Selector API 为主，法期维护业务代码与测试代码耦合失败概率，ROI 不19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九届D2终端技术大会19TH D2 T

6、ERMINAL TECHNOLOGY CONFERENCE第十九届D2终端技术大会Shadcn/Data TableShadcn/Date PickerShadcn/DrawerShadcn/DropdownPART TWO919TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九届D2终端技术大会19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九届D2终端技术大会Midscene.js:AI 驱动的 UI 动化19TH D2 TERMINAL TECHNOLOGY CONFERENCE第十九届D2终端技术大会19TH D2 TERMI