A4--贾琳玉--基于AI大模型的智能缺陷分析探索实践.pdf

1、基于AI大模型的智能缺陷分析探索实践贾琳玉测试架构师贾琳玉OPPO ColorOS 测试架构师现就职于OPPO，担任测试架构师，多媒体领域TSE。多年软件测试技术研究和项目经验，主导多个大型测试能力0-1的全面建设和落地。目录01CONTENTS0203引入缺陷智能分析工具的背景缺陷智能分析工具的架构设计工具落地业务实践04优化与展望缺陷分析的业务痛点缺陷处理数量缺陷处理效率缺陷处理质量每项目/每业务团队/每缺陷类型单日提交缺陷数多。项目迭代速度快周期缩短、进度提拉需求快速定位缺陷的分类识别正确的处理开发团队。缺陷分类的正确判断处理缺陷的开发团队缺陷问题定位缺陷是否解决关闭是否无效缺陷。目录0

2、1CONTENTS0203引入缺陷智能分析工具的背景缺陷智能分析工具的架构设计工具落地业务实践04优化与展望业务缺陷处理流程挑战：每一个环节都具有提效诉求，且作用方式存在差异 流程上的每一个角色对于辅助推荐的目标和内容都存在差异应对：框架化通用能力 差异化业务场景缺陷智能分析技术架构缺陷智能分析业务流图相似聚类推荐算法与应用相似文本检索服务基于训练集的分类算法推荐2.需要训练的module1.准备训练集4.预加载模型并训练3.读取模块5.模型预测基于训练集的分类算法推荐算法处理逻辑优化初代逻辑遇到的问题跨领域之间有混淆，如蓝牙音频的问题被判断为多媒体，三方应用问题被判断为系统应用等不同领域间有

3、相似分类描述，影响训练结果不同领域的专有名词定义差异分类推荐准确率提升日志有效性的核查与推荐问题类型log核查要点log核查路径/文件名log核查命令准确模块日志解析推荐流程目录01CONTENTS0203引入缺陷智能分析工具的背景缺陷智能分析工具的架构设计工具落地业务实践04优化与展望缺陷智能分析的实践之路分类模型训练-人工标注-强化学习-对比验证-验证择优综合训练分领域训练缺陷智能分析的实践之路（4）替换自研GPT（3）simbert+规则清洗相似推荐模型优化（1）（4）缺陷智能分析的实践之路深度集成平台工具集成形式实践痛点痛点1.新建缺陷T+1机制，不能实时刷新缺陷数据，无法推荐出当天已

4、提交的相似单2.前端工具的刷新延迟导致每次刷新结果不一致的问题，数据获取延迟缺陷智能分析的落地使用效果相似缺陷看板日志解析推荐案例-通信业务全景日志解析落地案例-前端聊天对话界面日志解析推荐案例-知识库调用问答业务落地的收益1.问题类型问题类型2.团队建议团队建议3.log检查（完整检查（完整性、有效性）性、有效性）4.扫描到异常扫描到异常log的关键字展示的关键字展示5.各类缺陷库相各类缺陷库相似问题推荐似问题推荐工作内容工作内容优化前优化前优化后优化后bug提交人工编辑人工编辑+辅助提示bug审核测试工程师审核，并线下去缺陷库查重第一阶段：测工程师根据推荐的结果选择提交的开发团队、根据工具

5、推荐的各缺陷子库里的相似问题判断是否重复第二阶段：工具自动审核bug分析开发工程师手动下载log分析开发工程师根据缺陷辅助工具推荐的方向定位快速分析缺陷辅助工具维护无测试工程师维护分类模型训练集工作内容的变化工作内容的变化 角色 投入 提效 能力要求 工具替代人工分析 工程师从问题的重复分析-工具的开发维护评测模型评估阶段评估阶段上线前上线前模型级验证模型级验证日常审核使用中日常审核使用中实时反馈结果实时反馈结果推荐结果运营推荐结果运营离线评估离线评估指标类型客观客观客观+主观客观指标1.1分类精准率客观指标2.1团队精准率客观指标1.2分类召回率客观指标3.1文本相似度客观指标4.1相似推荐

6、准确率主观指标1.1推荐满意度主观指标2.1推荐采纳率业务落地的收益缺陷工具整体使用率40.52%-80+%相似缺陷推荐准确率（业务落地）57.02%-74+%分类推荐准确率（业务落地）40%-70+%重复缺陷流转至开发的比例下降了下降了23+%无效缺陷流转至开发的比例下降了下降了41+%数据来源：OPPO内部QA目录01CONTENTS0203引入缺陷智能分析工具的背景缺陷智能分析工具的架构设计工具落地业务实践04优化与展望QA与优化 在缺陷审核请求并发量上到一定量级时会存