A2--郑义川--基于LLM的接口自动化测试用例生成落地实践.pdf

1、郑义川百度资深工程师郑义川百度 资深工程师百度智能云资深工程师，主要负责质量团队测试能力平台化整合，推动自动化测试的低/无代码转型与智能化升级，并主导测试平台的离线交付解决方案，有效支撑20+产品线的自动化体系建设落地。同时推动大模型在接口测试用例生成方向的实践与应用，推动AI能力在质量场景中的落地与优化。毕业后曾就职于央企和滴滴，从事控制系统开发、自动化治理、测试服务化与测试能力左移等工作。目录CONTENTS测试方式的转变0102 自动化测试低代码化平台化测试平台智能化03测试智能体的出现04PART 01测试方式的转变不同测试方式的局限性手工测试【优点】上手快，无门槛【劣势】执行效率低时

2、间成本大自动化框架【优点】灵活性高，可业务定制【劣势】有技术门槛有代码维护成本测试平台【优点】配置化编写，技术门槛低【劣势】定制化需求不易覆盖不如代码框架灵活010302不同测试方式的局限性自动化框架自动化代码测试代码生成测试平台测试平台平台用例生成0302测试代码有固有的惯性是否可以基于历史用例生成高准确率的代码产物平台存有大量测试信息和历史用例平台的配置化操作相对固定能否摆脱手动配置，直接产出场景用例？思考？思考？发展路线自动化框架低代码的平台化 智能化智能体资源整合、降低门槛AI的出现，用例生成更加智能的尝试PART 02测试框架-低代码化平台化低代码化平台化的起因切入点挑战更低成本平台

3、化整合测试能力多人在线协作超低使用门槛无代码管理成本无环境部署成本产品的通用性能大幅提升产能使用便携性满足测试资产沉淀诉求能解决大部分定制化需求测试平台功能全景图API信息管理、用户配置管理、测试集合/用例管理、执行计划管理等基础模块基础功能自定义插件函数、自定义执行环境、工程级别代码导出、智能用例生成等进阶功能灵活的自定义插件设计提供基础环境+自定义环境包类venv思路进行环境隔离执行环境自定义插件函数，实现用户定制化需求自定义插件无论是插件还是测试步骤，可进行全局上下文引用全局上下文引用工程代码导出、高度自定义开发平台结构化数据，按【工程代码层】和【测试代码层】分别沉浸代码两层代码沉浸相互

4、独立，基于不同代码模板工程代码层主要有：框架类代码、测试配置、测试数据、通用函数与用户自定义函数测试代码层主要有：用例流程信息、用例步骤详细信息等PART 03低代码平台化-智能化生成智能化转型切入技术探索轻量切入多点尝试小而精多形态落地场景-智能断言生成接口请求参数接口返回体平台用户规则纠错格式化输出断言项输出预置断言设计场景任务名词解释功能点高频使用、开发量小、适合快速上线验证基于prompt工程实现即可，需提供如下信息：接口参数接口返回体数据（取自debug）接口参数定义参数关系推理方法用户特定要求落地场景-单接口用例批量生成针对业务逻辑相对独立的接口，进行单接口的测试用例批量生成根据接

5、口测试参数设计方法，进行用例场景设计用户已经是平台用户，具备可访问和被测试的业务环境批量生成并执行，只保留成功用例用例删除是软删除，用户可以根据想要的测试场景捞回用例，进行修改调试落地场景-业务场景用例生成用户自然语言描述测试诉求，推理业务流程，根据上下文依赖串联，生成请求参数与断言等信息根据业务背景知识，分析出潜在业务流程，对手工用例描述进行测试步骤拆分向量计算得分排行TopN+智能选取，匹配可信度高的接口或函数（匹配结果经过人工验证后再继续生成流程）生成参数后处理：智能纠错与智能修复等环节，提高生成准确率复用智能断言功能，自动生成断言配置如何保证LLM生成效果单接口用例场景用例批量单接口用

6、例生成，涉及到用例执行阶段，需要保证准确率，对接口文档完整度要求较高，信息越准确越丰富，LLM生成准确率越好基础条件保障该功能只适用于逻辑独立的单接口，对强业务流程的接口不适用限定业务范围对生成的测试参数，进行平台配置化规则格式校验，选择性增加修复环境，减少LLM对规则理解的遗忘基于规则的校验与纠错在匹配阶段，通过引入人工验证流程，增加匹配结果的准确率人工验证介入基于场景用例的复杂度考虑，不追求生成即可执行，目标是场景设计和减少部分机械配置化工作量，用例最终由用户完成调试和确认阶段性目标平台化与智能化落地成果平台化落地成果 平台累计服务产品xxx个，生成测试代码xxx行支持xxx次Tob项目的