A2--王啸--测试分析AI助手的探索与实践.pdf

1、测试分析AI助手的探索与实践王啸 蚂蚁集团王啸蚂蚁集团蚂蚁集团平台工程与技术风险部高级测试开发专家，目前主要负责蚂蚁集团数字化管理业务域以及AI智能化产品的质量保障工作，涵盖蚂蚁集团财务、财资、行政、采购、HR、智能办公、以及AI智能商业化产品等多个业务领域相关业务系统的质量保障，并在资金风险防控、财务数据质量保障、微服务架构端到端链路自动化、测试分析领域大模型建设等方向负责相关质量技术能力和平台的研发工作，毕业后曾先后就职于EMC、华为等公司，从事企业级存储产品质量测试及自动化相关工作；目录01CONTENTS0203测试分析背景介绍测试分析AI助手训练测试分析AI助手实践04展望测试分析背

2、景介绍蚂蚁测试流程与测试分析背景介绍需求&产品系统设计测试分析开发&测试发布 预发/灰度风险分析业务风险分析技术风险分析测试用例设计功能测试非功能测试性能测试兼容性测试变更三板斧灰度分析监控/核对分析应急分析测试分析研发流程测试分析环节在整个研发流程提效难，针对大型项目通常需要数天才能完成；测试人员能力与经验依赖性强，通常需要1年以上培养一个业务领域质量工程师；2-3年培养一个业务领域质量专家；研发流程中测试分析环节是测试工程师质量保障工作最核心的价值产出当前测试领域工具介绍测试用例管理测试框架App/UI/接口DevOps测试分析生成测试分析AI助手训练测试分析模型目标-中高级水平的测试领域

3、AI助手测试领域通识知识能力计算机领域知识测试领域知识（等价类/边界值/判定表）测试分析方法运用测试设计能力基于需求产品文档&系统设计文档=测试场景&测试用例风险分析&措施推荐能力业务风险&技术风险分析风险措施推荐（线下/灰度/监控/应急）功能、性能、安全、测试分析模型 模型业务动线测试分析模型 模型架构测试分析模型 测试领域知识注入QA提取 任务蚂蚁语言大模型问答生成训练结构化语料构建1.Input：Q Output：A2.Input:原文+Q Output：A3.Input：相似Q Output：相似A4.Input：QA+相似Q Output：相似A测试分析模型 PRD与用例自动关联测试

4、分析模型 多模态数据处理探索测试分析模型 prompt设计Prompt设计定角色思维链举例子定格式测试分析任务测试分析AI助手实践模型效果 中高级软件考试标准答案标准答案GPT3.5蚂蚁测试分析模型蚂蚁测试分析模型白盒测试也称结构测试，透明盒测试。主要用于单元测试阶段，代码和逻辑的测试，重点复杂的测试，是一种测试用例设计方法，不同于黑盒测试，白盒测试是可以看到内部代码如何运作的，可通过测试来检测产品内部是否符合规定正常运行。白盒测试是一种软件测试方法，也称为结构测试或代码测试。它基于对软件内部结构和代码的了解，通过检查程序的内部逻辑、数据流、变量使用等来验证软件是否按照设计要求正确地执行。白盒

5、测试通常由开发人员或专业测试人员执行，旨在发现代码中的错误、缺陷和漏洞，以提高软件质量和可靠性。白盒测试是一种软件测试方法，它涉及测试软件代码的内部实现，以验证其是否满足设计规格说明。白盒测试通常用于测试软件的内部逻辑和算法，以及检查代码覆盖率和分析代码性能。白盒测试的目标是验证软件是否满足规格说明，并检测和修复潜在的错误和缺陷。白盒测试通常包括静态分析、动态分析和逻辑覆盖率分析等技术。e.g.什么是白盒测试？模型效果-测试用例设计&风险措施分析效果使用测试设计方法进行用例设计根据业务场景生成测试分析根据业务场景分析风险防控策略模型效果-业务域实践模型效果-业务域实践模型效果-蚂蚁内测试分析产

6、品建设文档智能助手-测试分析文本生成文档智能助手-测试分析Xmind格式生成模型效果-蚂蚁内测试分析产品建设展望测试分析范畴的扩展与深入测试质量专家质量专家业务领域知识（产品、系统、链路背景等等）系统代码/链路代码历史产品缺陷全量线上问题/故障技术风险分析&稳定性分析模型扩展测试分析生成测试代码生成需求Agent系统设计Agent测试分析Agent代码生成Agent发布Agent运维Agent感谢聆听关注公众号稳定性保障产品线：性能测试平台XRunner、全景-跨架构全栈可观