薛飞飞-精准测试的探索与实践.pdf

1、2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站薛飞飞资深测试开发工程师精准测试的探索与实践01背景与目标02精准测试核心理念03精准测试实现方案04平台建设与收益目录Content05基于AIGC的精准测试探索06未来演进01背景与目标传统测试痛点2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站业务测试的现状黑盒功能测试受主观人为因素太大大量的回归测试用例，回归成本高测试质量无客观数据可衡量自动化用例无法更有针对性的发挥其价值过程中存在大量重复无效且盲目的工作敏捷模式下测试效率低下2023 DevOps 国际峰会 暨 BizDevOps 企

2、业峰会 北京站精准测试要解决的问题 量化变更影响范围n 测什么n 测的怎么样 计算增量/全量覆盖率 定义有效覆盖率 辅助链路覆盖率n 用例怎么精简 建立用例和代码关联关系02精准测试核心理念什么是精准测试？2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站精准测试的定义精准测试是一套软件测试辅助分析系统，通过对测试过程进行监控，将采集到的监控数据进行分析，得到精准的量化数据。利用这些数据促进测试过程的不断完善，形成度量及分析闭环，核心组件包括用例和代码的双向追溯、测试用例精简、测试用例自动生成等。在测试用例执行过程中，自动建立任意运行模式的软件系统的用例和代码间高度关联

3、的追溯机制，获取代码覆盖率并进行精准回归。2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站精准测试核心思想测试用例代码测试范围正向追溯逆向追溯通过去被测服务上收集测试覆盖率（全量/增量），建立测试用例与代码的关联关系，根据直观的覆盖率数据评估“我测的怎么样我测的怎么样”n 正向追溯n 逆向追溯通过对指定方法、版本或分支进行代码diff找出差异代码，根据全链路分析找出受影响的服务/接口/方法；同时依赖代码和用例的关联知识库确定用例回归范围，从而准确评估“我要测什么我要测什么”2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站正向追溯案例获取测试用

4、例对应的代码覆盖率建立测试用例与代码的关联关系，可追溯到接口、方法、代码行级别2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站逆向追溯案例代码（接口、方法、代码行）与测试用例执行信息自动关联通过逆向追溯可以快速找到变更代码对应的测试用例范围，协助QA评估测试范围2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站精准测试的核心理念范围可量化影响范围精准评估用例可精简测试用例精准筛选测试可决策测试结果精准度量测试分析更准确测试执行更高效测试结果更可信03精准测试的实现方案覆盖率+代码分析+用例代码关联2023 DevOps 国际峰会 暨 BizDe

5、vOps 企业峰会 北京站精准测试整体方案2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站服务端-调用链路分析方案静态调用链路动态调用链路跨应用调用链方案基于ASM分析字节码，扫描每个方法体指令中的invoke指令，同时补充桥接来解决部分多态问题，最终生成内部调用链采用javaagent对代码进行织入结合内部已有的调用链Trace平台，汇总处理所有信息获取应用间的调用链路情况(对于没有现成调用链的公司可以参考skywalking优势服务无感知可以获取应用内完整的调用链数据记录一次请求经过的所有内部方法，这样形成的内部方法调用链将会记录aop和多态执行的真正的方法/不足

6、存在多态和AOP问题，导致链路分析不准确大量织入影响服务性能/2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站服务端-调用链路分析流程2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站服务端-调用链路分析桥接器抽象类和实现类桥接变更代码2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站调用链路分析-案例2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站服务端-调用链路分析结果2023 DevOps 国际峰会 暨 BizDevOps 企业峰会 北京站服务端-覆盖率流程 全量覆盖率 增量覆盖率 有效覆