3-万锐媛- ATGen-上下文感知的API全场景零代码自主测试生成.pdf

1、CodeArt TestPlan:ATGen-上下文感知的API全场景零代码自主测试生成2023 深圳站万锐媛12年获清华大学EE博士学位，曾赴UC Berkeley EECS访问学者。16年加入华为至今，从事智能辅助测试技术探索、工程工具落地规划、设计，带领团队聚焦智能辅助测试设计、测试自动生成，多目标精准回归，测试失败智能定界等方向，成功孵化多项智能测试服务并规模落地应用，多次获得华为总裁奖、金牌团队、海盗派重大测试技术突破奖等。获得专利5项，在ICSE、ASE等A类国际会议发表论文，担任ICST、ISSRE、TiD、NJSD等会议演讲嘉宾华为测试技术专家2023 深圳站目录CONTENT

2、SAPI测试生成背景和SOTA01 ATGen测试设计自主生成新模式02 自主测试生成关键技术03 华为内部实践场景和应用效果04 总结05 2023 深圳站API测试生成背景和测试生成背景和SOTA2023 深圳站API接口测试背景和痛点华为XXX产品接口用例和接口场景级用例设计工作量样例接口多，华为云商用云服务接口数10W+，测试设计工作量大接口测试痛点参数多，平均10+参数/接口，组合爆炸易遗漏，接口功能交互和性能模型设计，依赖人经验，业务场景覆盖不足误报高，现有接口fuzz工具不理解业务，不感知上下文，生成有效性低2023 深圳站上下文感知的API接口黑盒测试生成学界state-of-

3、artRestCT基于API 定义挖掘操作序列约束，利用组合测试方法生成场景级API测试生成有效性可达56%不考虑 依赖生成不考虑动态执行反馈两者均考虑Restler基于Rest定义考虑上下文接口依赖和动态执行反馈fuzzing代码覆盖较单接口fuzzing可提升2倍以上RESTTESTGEN:Automated Black-Box Testing of RESTful APIs，ICST2020RESTler:stateful REST API fuzzing,ICSE2019Combinatorial Testing of RESTful APIs,HuayaoWu,Changhai Ni

4、e,ICSE2022Step1.测试序列生成:基于Spec定义中的资源对象层级和CRUD语义构造sequence约束Step2.测试数据生成:基于受限NLP解析参数约束数据生成方法RestTestGen 基于API 定义挖掘操作序列上下文依赖，生成场景级API正常&异常测试生成有效性30%正常测试有效性30%异常测试效果孤立单接口测试生成-多接口上下文交互测试生成安全/可靠性测试生成-功能验证生成大大缩短大大缩短500击中时间击中时间快速提升代码覆盖快速提升代码覆盖接口调用上下文依赖接口调用上下文依赖+动态执行反馈动态执行反馈2023 深圳站CodeArt-TestPlan 华为云一站式测试平

5、台待测软件需求IPD-PTM质量规范和要求测试经验库测试工程方法测试分析和评估自动化&测试执行测试分析&质量评估 沉淀华为30年高质量测试方法，融入IPD精髓的测试设计、自动化、测试管理实践，支持大规模、高并发、全场景的自动化测试生成、执行和评估 应用规模：4万+测试&开发活跃用户，10亿+用例管理，支撑每年15亿+例次自动化执行待测软件版本xxn待测软件版本xx2场景分析功能设计特性设计逆向网上问题待测软件版本xx1测试设计中心RBT风险分析RBT风险分析启发式测试设计启发式测试设计数据驱动组合测试用例生成数据驱动组合测试用例生成测试用例库（产品基线/版本/分层分级管理）功能测试待测软件版本

6、xx1专项测试待测软件版本xx1用户场景测试待测软件版本xx1软件版本xx1发布部署在线测试待测试的软件版本缺陷分析与质量持续改进开发构建需求列表失败定位分析/质量大屏沉淀华为30年高质量测试方法，融入IPD精髓的测试设计和测试管理实践基于风险的启发式策略模型数据驱动组合生成用例行业测试设计模板千级节点秒级加载测试报告环境自动申请环境自动申请测试用例自动分块测试用例自动分块用例并行下发执行用例并行下发执行测试结果自动上报测试结果自动上报性能测试性能测试安全/韧性测试安全/韧性测试可靠性/故障注入测试可靠性/故障注入测试兼容性测试兼容性测试用户场景测试用户场景测试体验测试体验测试安装部署测试安装