A3-黄立华-基于现有开源大模型分析需求生成自动化用例探索.pdf

1、基于大模型分析需求生成自动化用例探索黄立华主要从事自动化、性能、可靠性测试能力构建、测试设计、测试执行负责智能化测试。华为技术有限公司GTS 测试专家嘉宾照片目录CONTENTS背景、要解决的问题01 解决思路/方案/框架02 具体解决方法、技术实践03 落地效果与总结、启发04 展望未来05 01议题背景业务背景CS产品是类似于京东的云化平台系统，1.5个月发布一次版本，测试周期是14天，需求多、碎小和紧急，每个需求都有对原有的页面修改或者新增页面和流程。业务痛点1、版本新特性测试问题仍占大头，测试设计遗漏占月度产品问题的60%。2、历史特性不充分：新增用户使用场景后历史特性问题暴露，占比由

2、39%提升至60%。3450835999686958050100150历史特性问题新特性问题月活增加历史特性问题增多优秀测试设计用例少，掌握测试设计方法能力少，随产品上量使用，产品问题逆向分析测试设计遗漏多5960759610111414215017218020001002003001234567891011产品问题趋势曲线网上问题数测试设计TOP问题占比正常场景遗漏30%异常场景遗漏20%用例描述不精确20%测试设计checklist未完成全量排查10%性能可靠性分析场景遗漏10%安全测试点设计缺失5%特性交互分析遗漏5%自动化测试痛点自动化测试人员,5,11%手工测试人员,40,89%自动

3、化人员占手工测试比率红色是手工测试人员数量，蓝色是自动化测试人员数量不懂代码，无法写自动化用例自动化率低，未自动化依赖手工策略性覆盖，存在策略遗漏风险痛点解决思路方向如何利用现有开源大模型给出测试验证点并生成自动化测试用例，来提升测试设计质量和测试用例量，全员都能实现自动化测试经理自动化测试手工测试不懂业务，用例实现自动化进度缓慢，一天4个，主要耗时在业务理解和用例、规格理解。开源大模型痛点 给定：功能场景描述 生成：测试验证点推荐安全性验证点数据完整性验证点功能正确性验证点异常场景验证点兼容性验证点痛点：这些验证点无法形成真正用例,如何发力利用大模型从需求到自动化代码一键式生成02解决整体方

4、案解决方案测试用例需求自动化测试代码测试执行结果测试验证点1.需求详情(语料规范)作为Prompt输入LLM2.LLM根据输入Prompt生成测试验证点LLM关键能力：自然语言理解能力、长文本分析能力1.构建测试因子库，因子库广度和质量优化。2.测试验证点+推荐测试因子+测试设计方法提示输入LLM3.LLM基于测试验证点与测试因子库生成测试用例。LLM关键能力：自然语言理解、测试设计方法理解1.测试用例输入LLM+自动化测试代码生成要求构造Prompt，输入LLM2.LLM基于输入要求，生成对应自动化测试代码返回3.针对返回代码自动进行测试框架适配调整：UI元素定位信息+测试断言补充，最终生成

5、可执行自动化测试代码。LLM关键能力：基于业界通用编程语言、自动化测试框架的代码生成能力测试验证点生成1测试用例生成2自动化测试代码生成3大模型解决方案业务架构测试工程师开发工程师大模型从需求生成自动化系统开发转测试集成验证需求的测试设计和测试历史需求的补充测试设计环境管理平台分配执行环境探索执行三方支撑系统返回可执行自动化代码测试领域专业知识库03具体方法与技术实践关键技术1：如何让大模型理解需求并给出相关测试验证点测试专业语料仓库场景分类一级场景二级场景三级场景兼容性测试场景接口测试场景南向接口测试验证点接口正常测试场景或正常测试验证点北向接口测试验证点接口异常测试场景或异常测试验证点中间

6、件接口测试验证点接口为空测试失败场景或为空测试验证点三方件接口测试验证点接口超规格测试失败场景或超规格测试验证点接口状态码遍历测试场景或者测试验证点接口必填字段测试场景或者测试验证点接口边界值测试场景或者测试验证点接口可靠性测试场景或者测试验证点接口压力测试场景或者测试验证点接口错误输入测试场景或者测试验证点接口存在脏数据测试场景或者测试验证点接口前后台校验测试验证点或者测试场景接口WEB安全测试验证点或者测试场景接口URL安全测试验证点或者测试场景接口审计日志安全测试验证点或者测试场景接口SQL注入日志安全测试验证点或者测试场景接口越权安全测试验证点或者测试场景接口xml注入测试验证点或者测