A3--许喆俊--智能用例创作与自动化.pdf

1、移动端智能用例创作与自动化许喆俊百度许喆俊百度 资深测试开发工程师2016年加入百度，目前从事质量效能研发方向的工作，专注于移动端测试质效提升方向。也曾在MEG多个业务线负责过移动端、服务端、策略算法等方向的质量保障工作。曾多次在百度效能大会、MTSC等会议进行主题分享。目录C O N T E N T S1.议题背景2.探索与实践 a.手工用例的智能生成 b.移动端自动化用例的探索 c.移动端自动化用例的智能生成3.效果及展望议题背景01测试用例创作和管理的困境测试用例的价值测试用例QA代码RD核心资产核心资产测试用例作为质量保障的核心，影响着研发-测试-发布-上线的全过程测试用例的创作和管理

2、的困境与问题手工测试用例移动端自动化测试用例受编写者测试经验、水平不同，而良莠不齐不对编写规范做要求，则导致用例可读性较差，不利于用例的传承对编写规范强要求，则极大的编写/审核成本，影响测试和交付周期用例质量用例传承编写效率移动端场景复杂，如何更好的实现移动端的自动化测试？快速迭代下，如何降低移动端自动化的编写/运维成本？怎么做怎么做的更好在回归测试的过程中，如何更好的提升效能？怎么用QAMate测试用例创作和管理平台QAMate手工用例编写手工用例管理准入准出签章需求生成用例用例精准推荐移动端自动化多阶段用例管理测试报告生成本地/云端执行云端机房管理移动端自动化用例生成移动端用例自动修复服务

3、端自动化接口自动化用例生成业务/产品线管理账号管理基础功能手工测试自动化测试探索与实践02手工用例的智能生成受编写者测试经验、水平不同，而良莠不齐不对编写规范做要求，则导致用例可读性较差，不利于用例的传承对编写规范强要求，则极大的编写/审核成本，影响测试和交付周期用例质量用例传承编写效率建设思路需求生成手工测试用例解决用例编写的效率问题解决用例编写的规范性问题基于生成用例人工进行采纳/增改对生成用例进行补充，保证用例质量引导测试人员规范化编写手工用例沉淀到业务知识库对测试经验进行沉淀和传承提升大模型需求生成手工用例的质量解决问题手工用例的智能生成技术方案技术难点业务场景、业务需求、用例编写方式

4、业务差异大需求文档中包含文本、图片、表格等多种样式需求样式多prompt共建 提供通用的prompt能力和框架 基于框架各业务可以定制建设自己的专属prompt多模态支持 针对占比较高的 GUI 图、流程图、表格图的图片，通过千帆自定义 AppBuild 智能体的方式实现了识别和用例生成能力手工用例的智能生成如何进一步提升生成效果？知识数据飞轮为大模型注入知识来使得生成效果更好。知识注入的方式：预训练、微调、知识库。预训练：增量预训练的成本极高，需要海量的数据和计算资源，并且还可能带来模型灾难性的遗忘，一般都会很谨慎考虑此方法。业务独立知识库，业务同学更好的进行本业务知识库建立维护成本低廉，当

5、业务逻辑发生变化的时候，直接更改对应知识库信息即可测试经验可传承，能够避免人员流动带来的测试用例编写质量的影响LangChain+文心实现外挂知识引入微调数据飞轮文心千帆+百度智能云进行微调测试风格、语言表述等问题，更好的模仿人工书写的结果更好的生成效果移动端自动化用例的探索移动端场景复杂，如何更好的实现移动端的自动化测试？怎么做技术方案实现形式-录制回放低学习门槛、低编写成本、多适配场景 本地录制：直观、快捷、多端设备即插即用 本地+云端回放：满足多场景测试需求 和 算力要求设备连接mac，打开工具即可使用多地搭建云端机房，满足算力和稳定性要求移动端自动化用例的探索通用单控件特征定位技术：移

6、动端自动化测试场景中80%左右是单控件操控场景核心能力 控件定位体系 BatDom如何实现移动端的录制回放？以视觉能力为基础，进行 页面建模 和 特征比对回放所见即所得增强稳定性对比xpath等基于dom的方案新问题视觉能力的准召率 不可能达到 100%，但是业务对自动化稳定性的要求，需要尽可能的高目标识别模型OCR视觉特征比对step1 连接设备step2 步骤录制：页面建模，用户点选需要操作的控件元素，完成单个步骤的录制step3 步骤回放：在本地/云端指定的设备还原录制时的操作，并且进行校验移动端的录制回放的过程：移动端自动化用例的探索解决方案 视