胡应广-AI辅助测试脚本失败分析和修复.pdf

1、AI辅助测试脚本失败分析和修复胡应广|华为演讲嘉宾胡应广高级测试开发工程师华为ICT软件测试工程与自动化专家，多年云原生软件测试开发相关经验，负责GTS产品测试系统构架设计与开发，主导产品线大模型应用测评系统能力构建和AI辅助研发质效提升项目的探索与实践。目 录CONTENTS1.背景介绍2.问题与挑战3.解决思路与整体方案4.具体实现与技术实践5.总结与展望背景介绍PART 01自动化测试过程分析与业务痛点 自动化测试流程与耗时统计出包安装 编译出包 环境安装失败用例定位分析 查看执行机日志 失败的步骤检查 响应码检查 响应内容检查 进行问题复现 重新执行用例，对比正常执行日志进行初步诊断问

2、题处理 检查环境信息 检查用例相关服务状态和环境配置是否正常 版本问题提单跟踪 用例问题修复用例 环境问题修复环境 分析业务日志 登录节点查看业务日志，进一步分析根因用例执行 测试数据预置 自动化用例执行小时级小时级xx人天（用例规模10w+、失败用例千级）x人天多流水线并行敏捷开发模式下需要通过执行大量自动化用例快速反馈版本质量和存在的缺陷，产品自动化测试用例越来越庞大，全量执行一次失败用例多，全部依赖人工分析投入效率低、工作量大，问题反馈周期长，无法满足业务诉求；即便把自动化用例通过率提升到99%以上，每天仍然有上千个失败用例要人工分析，按照现有效率计算仍需要投入数人天的工作量。业务现状与

3、痛点问题与挑战PART 02日志获取困难人工分析效率低相同问题重复分析业务环境集群化部署组网复杂，日志分散在不同的节点容器上，人工获取用例执行日志困难自动化测试脚本并行执行，无法准确区分失败用例对应的服务日志产品框架复杂，测试脚本失败影响因素多，人工分析效率低、周期长历史经验无法很好的继承和复用同一批次相同/相似失败测试脚本重复分析相同版本跨测试环境相同/相似失败测试脚本重复分析测试脚本历史相同/相似问题重复分析测试脚本失败分析主要瓶颈和挑战解决思路与整体方案PART 03关键问题解决思路解决思路：通过日志特征语义聚类和相似度对比去重1、通过聚类算法进行问题去重，避免同一批次相同/相似失败测试

4、脚本重复分析2、构建已知问题根因失败用例向量知识库，通过语义相似检索召回历史失败根因，避免历史相同问题重复分析问题2：人工分析效率低问题1：相同问题重复分析解决思路：大语言模型在NLP任务上能力强大甚至超越人类，引入LLM替代人工进行测试脚本失败根因诊断1、通过大模型外挂领域向量知识库，增强LLM进行测试脚本日志解析能力2、构建典型失败特征-问题根因因果关系知识图谱（KGs），通过RAG技术增强LLM对失败日志根因推理性能整体方案典型问题案例库专家规则库失败日志特征聚类失败日志解析知识库（RAG）服务层存量问题已知根因知识库失败日志解析Prompt模板问题根因推理Prompt模板(few-sh

5、ot)失败日志预处理（降噪）失败重试日志 等待时间日志 日期、时间戳 超长的HTML Body体 无用的请求Header 超Token长度裁剪 资产层Prompt Engineering日志采集日志模板规则管理日志处理引擎失败问题根因联合诊断应用层对接自动化测试流水线测试作业平台历史相似问题检索失败分析Copilot模型评估23知识图谱（KGs）4华为盘古大模型已知问题根因/问题分类-SFT模型层LLM华为盘古-S大模型Embedding Model聚类模型1具体实现与技术实践PART 04测试脚本日志采集和清洗日志清洗 失败重试日志 等待时间日志 日期、时间戳 IP/Port mask替换

6、超长的HTML Body体 无用的请求Header 无用的solution日志 超长Token内容裁剪 对日志降噪和过滤特征提取 测试步骤 请求指令 接口标识 预期结果 实际结果 响应码 响应内容 错误信息 调用链日志 提取失败要素日志解析日志加载选择模板解析日志内容日志保存日志加载和预处理日志采集1、测试脚本执行日志2、API接口调用链日志3、服务端业务失败日志失败脚本日志采集通过日志清洗，保留用例失败原因相关的关键特性要素，保证向量知识库相似问题检索召回准确性和大模型推理输入必要信息的完备性。原始日志特征日志1特征日志2特征日志3 清洗后的日志测试脚本日志内容特征聚类去重常用聚类算法：K-