A2--孙皆斌--大模型辅助自动化失败脚本分析处理.pdf

1、大模型辅助自动化失败脚本智能分析孙皆斌中兴通讯 公司级教练，中心改进负责人负责家庭终端产品的全自动测试流水线建设，包括自动化环境部署、自动化工具链、自动化脚本开发及维护，自动化执行分析等，保障产品的功能、性能、安全、用户体验等自动化交付有序开展。目录C O N T E N T S1.议题背景2.解决思路3.具体实践4.效果评价5.总结推广议题背景01 产品知识全屋智能能力场景网络全屋WiFi全屋光纤影音游戏教育办公家居全屋视频全屋语音全屋控制全屋安全家庭超宽带月均自动化任务数月均自动化任务数1000+月均执行脚本数百万级月均执行脚本数百万级版本交付周期一周内版本交付周期一周内现状&分析自动化交

2、付流分为三个阶段阶段一：任务自动调度执行（任务一次执行失败较多）；阶段二：失败脚本分析阶段（失败脚本占比小于10%）；阶段三：失败问题处理阶段（环境问题处理时间长）任务下发任务准备任务执行任务分析任务处理任务交付用例更新脚本更新脚本兼容脚本问题产品故障环境处理脚本优化单板上架调度排队手动验证异常分析等待分析1-2天5min交付周期占比10%人力投入占比10%交付周期占比50%人力投入占比5%1小时4小时交付周期占比20%人力投入占比30%1小时4小时环境问题交付周期占比20%人力投入占比55%2小时配置检查2小时用例问题1小时任务交付建模分析阶段一阶段二阶段三AI辅助自动化任务交付提效痛点痛点

3、&挑战挑战分析效率成为瓶颈：自动化交付吞吐率难以匹配项目任务增长要求（月均自动化任务数1000+），分析周期成为制约版本交付关键路径分析质量风险高：因产品需求多变，环境组网复杂，经常出现分析误报情况，存在质量风险人员能力要求高：失败脚本分析需要了解产品、自动化、环境等多方面信息，依赖专家经验，分析能力无法全员普及，自动化交付人力池无法快速扩充解决思路02改进目标指标指标类型24年目标指标说明自动化交付周期结果指标20%完成任务或交付产品自动化测试任务所需的时间周期人均日分析脚本数结果指标30%表示平均执行分析人员每天可以分析的脚本数量智能分析覆盖率结果指标90%表示智能分析系统在执行任务时所覆

4、盖的百分比智能分析准确率过程指标70%表示智能分析系统在执行任务时产生正确结果的百分比结合业务痛点定义业务目标，通过目标牵引不断进行改进智能分析方案演进2021传统神经网络智能分析智能分析知识图谱知识库+大语言模型202220232024方案一 传统神经网络（21年探索的方案）方案实现：基于神经网络技术的智能分析方案，优点：分析覆盖率100%目标达成情况：准确率低于25%，采纳率低于10%使用建议：1.适用于产品迭代周期长，脚本更新速度较慢的项目2.较高分析准确率的前提是保证高质量的训练集数据 不足：结论不可解释、准确率提升路径不清晰、需要高质量的训练集方案二 知识图谱（2223年探索方案）方

5、案实现：基于知识图谱的智能分析方案优点：分析路径明确，结论可解释、准确率高目标达成情况：准确率低于37%(特定场景80%)使用建议：环境及业务简单，出错业务类型较少，图谱构建成本低方案图模板训练流程图不足：分析覆盖率受限于图谱规模、图谱维护成本高经过多种技术方案探索实践和复盘总结，我们综合各种技术优点和不足，制定了基于知识库+大模型为核心的智能分析方案，如下所示：神经网络模型 能理解和处理自然语言文本，识别文本相似度和一致性准确率很高。知识库+大模型 一种以图结构组织数据的知识库，适用于管理环境组网信息，并且可以基于图谱数据做到故障诊断、自动化运维知识图谱 针对不同场景，分级建立知识库，包括历

6、史分析知识、常见问题特征模板库、运维知识图谱等 大语言模型具有出色的自然语言理解能力，可以做为知识理解，知识应用的媒介，经试验，大模型对判断需求、用例和脚本一致性效果很好。具体实践03智能分析方案体系阶段问题解决思路 一、任务调度执行阶段各类问题引发的大批量故障.三、问题或故障处理阶段配置下发错误 二、完成执行分析阶段环境问题：知识无法沉淀，依赖人工，无法自动化资源超负荷排队依赖专家知识经验，逐个问题攻坚实践1：群障定位解决实践2：AI辅助智能分析实践3：智能运维解决思路阶段一：任务自动调度执行阶段，通过群障定位解决解决批量识别问题，提升任务执行效率；阶段二：自动化执行失败。通过AI辅助失败脚