A1--冯雪梅--基于大模型的京东金融App测试创新与实践.pdf

1、基于大模型的京东金融App测试创新与实践冯雪梅京东科技 测试架构师冯雪梅京东科技|测试架构师冯雪梅，京东科技测试架构师。曾负责营销、电销等大型项目的测试工作，现负责金融app相关项目的测试。在项目中积累了丰富的质量保障和降本增效经验。擅长制定质量保障方案、自动化方案、提效方案；擅长测试过程标准化建设及质量流程改进。目录C O N T E N T S一、大模型时代对于质量领域的思考二、如何让大模型理解我们的工作模式三、如何构建测试用例生成智能体四、如何实现智能体与质量流程紧密协同五、业务结合情况介绍大模型时代对于质量领域的思考01面临的质量交付挑战专业技能如何达到更好的用例质量如何做到更高的交付

2、效率测试经验系统熟悉度用例编写质量项目快速迭代测试用例数量膨胀需求逻辑复杂系统实现复杂测试用例复用度低大模型时代对于质量领域的思考传统测试用例编写模型需求文档研发文档前置条件场景描述预期结果测试数据描述功能用例安全用例性能用例用户体验用例兼容性用例回归用例结合系统整体情况分析大模型对测试用例编写的革新大模型用例编写模型：将理解需求、用例设计、用例编写等步骤工程化历史文档项目文档理解需求理解系统用例编写加速测试用例创建提高用例完整性提高用例一致性提高用例可读性减少人为遗漏专业技能领域知识思考方式编写风格大模型实践过程探索我们需要模型理解系统特定领域的知识，并且具备像测试人员一样的思维方式。如何让

3、大模型理解我们的工作模式如何让大模型高效地运作如何让大模型与质量流程紧密协同我们需要建设测试智能体，在智能体中将大模型和我们的用例生成流程相结合，确保它能够简单、快速、准确地生成高质量的测试用例。我们需要整合测试智能体到现有的测试流程，使其成为质量流程的一部分，实现测试用例的生成、管理、执行和再利用，提升测试流程的效率和质量。如何让大模型理解我们的工作模式02基于需求文档的模型交互基于历史沉淀的模型交互基于需求文档的模型交互希望模型做什么需求描述需求理解需求拆分测试点识别需求重组逐步思考生成测试用例用例交付用例输出设置业务功能实现逻辑测试点1测试点N+与大模型的对话式交互，清晰的提示词描述使提

4、问效果更好你希望它怎么做+重点事项基于需求文档的模型交互-需求理解提示词需求理解需求拆分测试点识别文档重组模块名称模块描述测试点基于需求文档的模型交互-用例生成提示词逐步思考生成用例补充信息用例示例角色设定任务设定输出设置模块名称模块描述测试点样本提示链式思考基于历史沉淀的模型交互基于知识库召回历史文档，复用历史经验，形成更好的提示词需求与召回内容一起生成新的提示词需求分析需求拆解历史数据准备历史数据召回用例生成业务分类模块分类内容分类测试知识业务&系统知识用例召回基于历史沉淀的模型交互-数据准备历史测试用例文档基础测试知识文档专项测试技术文档系统的专项验证文档系统模块的测试总结形成针对模块的

5、测试专业知识学习历史问题、常见问题形成测试经验等测试知识知识库数据准备整体的业务流程及其对应的系统实现整理接口调用关系和与外部的交互描述系统的模块化知识，将系统划分为多个模块，每个模块从业务和系统结合的角度进行描述业务&系统知识项目术语概念（业务、系统、测试层面）用于训练系统对概念的相似度进行识别项目术语基于历史沉淀的模型交互-知识库搭建业务分类模块分类内容分类原文档存储：树状结构知识库内容树状存储策略，精准定位内容知识库内容分层基于历史沉淀的模型交互-内容召回知识库检索词定义业务定位模块定位内容定位定位所属模块召回信息关键字：标签、文档名称、文件内容用例召回定位知识库通过关键词引导，提高召回

6、的精准度意图分类两种工作模式的总结方式流程重点优势不足适用场景基于需求文档的模型交互大模型对需求的理解引导模型思考的提示词编写简单、快捷、方便、灵活只根据需求生成用例缺乏系统特定领域知识，可能导致用例广度、深度不够测试点通过需求文档可识别验证点具有通用性、可扩展、可复用基于历史沉淀的模型交互知识库数据准备知识库的存储分层设计数据召回策略快速召回用例补充领域知识知识库内容与提示词分离知识库内容持续更新内容自动学习考验知识库的检索召回能力召回信息作为提示词输入，数据量较大时模型理解能力不足用例召回服务端逻辑复杂，只通过需求无法直接得出测试点，更多需要知道系统