A3--傅景良--基于LLM和数据驱动的WEB UI自动化实践.pdf

1、傅景良&程天阳腾讯高级测试开发工程师傅景良腾讯 高级测试开发工程师北京科技大学硕士毕业，曾就职于Oracle、EMC，从事测试开发和质量保障工作。2015年加入腾讯广告，主要负责腾讯广告工程效能和自动化测试体系相关建设，曾打造围绕主干开发模式相关的git客户端辅助工具、持续交付系统、DIFF回归工具、ECPM还原和校验、大数据统一对账工具等重要系统，目前专注于建设AI辅助WebUI自动化回归测试建设，以及AI在测试领域的探索与应用。目录CONTENTSWebUI自动化的现状与痛点0102基于混元大模型的用例生成与执行基于用户操作录制的用例进化03总结与展望04PART 01WebUI自动化的现

2、状与痛点一个成功挽救线上事故的案例某天晚上，测试同学收到自动化测试平台告警，当天运行的AI自动化测试的结果中，广告创意创编页面有一个异常的白屏报错千亿广告系统可靠性保障 质量与效率的平衡挑战WebUI自动化面临主要痛点用例编写维护成本高传统WebUI自动化测试脚本维护高度依赖人工干预，模块化设计不理想时，页面变更都需要大量调整脚本元素定位不稳定通过xpath、坐标、动态的ID或class等来实现的元素定位方式，稳定性相对较差，很容易受到非功能变化的影响而大面积失败环境依赖强、执行效率低对测试环境要求高，执行速度慢，问题排查难度大，进一步影响了自动化的信心和推广核心痛点理想是高可用、低维护，现实

3、却是高成本、低效率。传统工程化解决方案问题解决方案描述1.脚本编写与维护成本高Page Object Model(页面对象模型，简称POM)模块化设计模式通过将页面操作、组件逻辑与业务流程分离，采用模块化设计来提升代码复用率。基础操作（如元素查找、截图）封装在Base层，通用控件（如表格、日期选择器）抽象在Component层。数据驱动测试将测试用例与数据分离，减少因数据变化导致的脚本修改，降低维护复杂度。2.元素定位稳定性不足复合定位策略采用CSS选择器+属性过滤+相对定位的组合策略，例如使用inputdata-testid=search:nth-child(2)，相较于传统的XPath定位

4、，稳定性显著提升，尽管此方法只能部分缓解问题。元素指纹技术通过计算元素的特征哈希值（包括父节点路径、文本内容、相邻元素属性），生成唯一标识码，即使DOM结构发生变化，也能准确定位目标元素，但是这个方法复杂度较高。0102脚本维护仍然依赖人工脚本维护仍然依赖人工采用模块化设计和数据驱动，页面结构或业务流程发生较大变动时，需投入较多精力深入分析和调整脚本元素定位仍然易受前端元素定位仍然易受前端变更影响变更影响面对频繁的UI重构、动态渲染或A/B测试等场景，定位策略仍可能失效LLM创新解决方案方法范围思路是否训练LLM自动化（腾讯会议）APP&桌面客户端 UI分析UI控件树，并将可操作控件输入给模型

5、进行决策。是UAT（微信支付）APP UI模型根据UI控件树决策当前操作与总体进度，执行成功后得到UI自动化用例。是AppAgent（PCG）APP UI通过控件树信息来标注页面截图，增强页面感知。否MobileAgent（阿里）APP UI纯视觉方案，使用目标检测模型标注页面元素，增强页面感知，引入多Agent进行规划、决策、反思。否MidScene（字节）桌面浏览器结合DOM树结构与视觉信息，解析自然语言指令否AUITestAgent（美团）APP UI基于控件树标注页面截图，并通过Agent完成自动化交互到检查整个过程。否Browser Use桌面浏览器基于HTML来理解页面，支持LLM

6、与VLM。自动进行任务拆分、结果反思。否Playwright MCP桌面浏览器通过MCP协议将 Playwright 浏览器自动化能力封装成标准化工具接口，让模型能够通过结构化的 消息调用浏览器操作。否LLM创新方案的局限性当前复杂业务场景下自动化测试准确率普遍不足75%，难以满足高质量需求复杂页面准确率不足复杂页面准确率不足外部模型引入存在数据合规风险，可能引发企业信息安全问题外部模型数据合规风险外部模型数据合规风险WebUI测试断言不仅需校验页面元素，还要精准验证业务流程和数据一致性。AIGC断言生成能力有限，人工编写效率低下。断言生成能力有限断言生成能力有限PART 02基于混元大模型的