A1--赖洪水--基于知识工程的AI辅助流水线失败脚本智能分析实践.pdf

1、赖洪水中兴通讯、大型项目DevOps负责人赖洪水中兴通讯 大型项目DevOps负责人项目基础设施负责人，负责项目效能平台建设，涵盖DevOps、工具、资源环境，为项目提供研发效能服务。从业20年，同时作为敏捷教练，为多个项目进行敏捷及DevOps赋能。目录CONTENTS实践背景01未来展望0502 解决思路效果评价04实践落地03PART 01实践背景软件工程3.0时代的DevOps改进思考技术挑战：需要对现有的工具进行改造，以适应智能化需求，以及将 CI/CD 流程和 DevOps 工具链融入大模型技术，从而更好地支持智能化研发和运维等 模型驱动研发和运维（规划、创建、验证、打包、发布、配

2、置、监控）真正实现所需即所得，真正做到持续交付服务实践背景-DevOps AI提效点分析实践背景-DevOps AI提效点分析一级活动二级活动涉及角色能耗质量风险优先级痛点分析代码检查C0KC检查修复Dev高高5低效重复，准确率低：检查失败占比高(30%)，每日产生的告警量大且误报率高（50%），分析误报和消缺投入大明文密码识别Dev高高5低效重复，准确率低：明文密码扫描告警量大，误报率高（90%），分析误报投入大规范检查修复Dev极高低4低效重复：流水线检查点多（VerifyCI检查项20+），开发经常咨询流水线运维人员辅助解决组件验证C0组件验证修复Dev低-2-版本构建C1版本构建Dev

3、低-2-自动化测试(C2-C3)失败脚本分析Dev/TE高高5分析时间长，不及时：每版本用例5w+，每日失败脚本多（3000+），分析投入大（2H/天/团队），分析及时度（80%）流水线运维(C0-C3)流水线配置DevOps中-2-资源环境分配DevOps高-2-AI应用选择策略：基于代码价值流模型，从等待时间、运行时长、准确率识别业务流关键活动，结合能耗、风险确定AI应用 AI应用模式分析：根据AI研发活动对大模型推理复杂度和精度要求，选择合适大模型和应用模式。研发活动子活动规模大模型应用分析代码检查明文密码识别所有开发团队分析一行目标代码，相对简单，但对精准度要求非常高，不能有实警漏报代

4、码检查KC告警修复所有开发团队有较复杂的缺陷推理链条，推理过程需要代码上下文信息。能识别误报，对于KC问题能提供消缺建议，对易用性有较高要求。自动化测试流水线问题定界定位所有开发/测试团队知识库以私域知识为主，环境问题要求精确定位，能依据定位结果实现自动或人工修复；脚本和功能问题期望给研发人员快速定界并提供定位思路；问题分析 当前流水线问题分析业务流问题分析用例上线率低（82%）用例通过率低（89%）3000+失败/天失败分析及时度（60%，推广度100%，提效20%PART 02解决思路整体方案基本信息 任务概述 注意事项 输出格式要求失败信息 失败日志类型 Jenkins日志 RF日志 业

5、务日志任务重申 任务重申 失败特征描述定界定位知识库召回召回知识类型知识描述RF环境节点不可用RF环境分辨率不匹配仿真环境存储空间不足.环境问题知识知识类型知识描述脚本规范数据越界.测试数据数据文件缺失.校验逻辑.脚本问题知识知识类型知识描述单点功能告警、XX业务.北向接口TAPI、I2.功能问题知识总体方案：根据历史经验构建环境、脚本及功能问题知识库，环境问题提前检测，脚本日志规范及功能错误码规范快速定界 知识库建设：支撑/业务系统环境二级分类，失败脚本规范化日志打印，根据信息架构对功能分级分类，构建环境-脚本-功能知识库；工具触点：以自动化系统为工具触点，嵌入失败脚本分析工作流，失败案例在

6、线分析，促进准确率提升；用户体验：拉通支撑系统（用例执行系统、环境管理系统等）及业务系统，故障一键提单，环境问题自修复；建设策略失败脚本定界定位问题闭环建设策略 知识工程：通过强化私域知识理解和思维链能力，提升模型内容生成准确率；完善知识规范性，补全智能体所需的知识完备性；应用范式：用模块化内容和标准化活动提升AI应用效果；工具支撑：提升AI工具的全面性和易用性，打通流程断点；质量提升：AI交付内容的质量控制和度量建设策略能力建设知识工程知识规范性、完备性、生产自动化知识建模：分类定义、知识图谱制定知识规范并治理知识流水线，知识实时保活工具全面、易用、无断点 全流程工具，确保流程无断点 触点工