A4--任兆勇--自动化测试到智能化测试的落地实践.pdf

1、自动化测试到智能化测试实践任兆勇腾讯理财通质量业务负责人腾讯理财通业务介绍腾讯官方推出的互联网金融平台，作为专业的财富管理工具，它严格筛选金融机构合作伙伴，为用户提供多元化的理财服务。平台涵盖货币基金、债券基金等多种产品，并通过智能投顾等功能，助力用户实现资产配置优化。致力于在保障安全的前提下，为用户提供便捷、稳健的理财体验。功能丰富涵盖全市场品类的基金销售、投顾服务等金融服务资金安全超大资金规模，对资金安全要求高理财通腾讯理财通目录CONTENTS背景与挑战0102 手工到自动化测试实践自动化到智能化测试实践03总结04PART 01背景与挑战背景介绍：业务简介与质量挑战1、业务层面：涉及多

2、种交易方式、资产和基金展示等丰富场景和流程，用例覆盖难度大2、技术层面：多终端、多机型（安卓、iOS、不同型号差异性）兼容性保障1、选择基金2、选择支付方式3、查看持仓详情关键质量挑战测试整体演进模式简介PART 02手工测试到自动化测试实践分层自动化测试的整体解决思路单元-接口测试：通过数据驱动测试低成本构建集成测试：构建稳定可维护的端到端自动化测试UI测试：维护成本问题是最大挑战分层自动化测试：总结与成果单元-接口测试数据驱动模式用例数：x万个稳定性：100%执行频率：千次/日集成测试配置驱动模式用例数：x千个稳定性：100%执行频率：100次/日UI测试手工编写用例数：几百个稳定性：90

3、%执行频率：2次/日010302PART 03自动化测试到智能化测试实践智能化测试：自动化测试面临的挑战智能化测试：AI能够帮我们解决哪些问题智能化测试：实现效果展示系统演示智能化测试：做好一个agent需要解决哪些问题？知识工程类型：生成式agent案例：用例生成agent关键点：知识信息理解、经验方法知识、存量案例知识可控执行类型：操作式agent案例：用例执行agent关键点：规划路径正确、工具选择正确、操作结果检查效果评测类型：问答式agent案例：客服agent关键点：QA案例库评测、评测集自动生成010302用例生成agent：整体解决方案1、剧本用例生成完整工作流设计2、剧本用例

4、生成难点以及整体解决思路总结：用例生成的关键挑战在于如何提升生成的准确性问题原因分析解决思路需求质量理解问题存在大量视觉搞、表格等富文本内容策略1：引入混元多模态，转换为纯文本内容用例生成质量问题场景覆盖全，同时考虑关键边界场景策略2：引入测试分析方法引导模型输出如何将已知场景纳入知识库提升生成效果策略3：引入存量用例库作为知识库用例生成agent：知识理解正确富文本需求转换关键问题：原始的需求内容往往包含长图视觉搞、表格等富文本内容，如何保障大模型能正确理解？解决思路：引入混元多模态模型对富文本需求进行业务流程和意图识别，转换为纯文本格式1、需求转换工作流设计2、设计要点要点1：识别富文本类

5、型，针对性送给多模态理解要点2：通过文本模型汇总生成终稿，补充业务上下文用例生成agent：经验知识供给Prompt设计关键问题：AI生成用例过程中，如何确保输出用例全面性以及规范性？解决思路：通过累积的业务测试分析方法限定Prompt用例结构轮廓和断言约束条件1、通过Prompt限定输出规范性2、通过测试分析方法确保用例质量测分方法实现思路场景分析法描述用户使用过程的一个个完整“故事”来设计测试用例等价类划分法尽可能多地覆盖尚未被覆盖的有效等价分支，直到所有有效等价类都被覆盖边界值分析法重点关注边界场景，用最小的代价发现最多的问题用例生成agent：存量案例知识RAG知识库召回关键问题：需求

6、内容往往有较多业务术语等存量的背景知识，导致生成效果不佳解决思路：将积累的剧本用例库、业务专业术语等纳入知识库，并根据生成效果进行采纳评测1、RAG知识库原理2、生成后采纳情况进行评测，持续优化实现要点：1、建设业务知识库，包括存量剧本用例、术语、页面元素等类型；2、生成后，通过采纳和不采纳作为正反样本实时性评测，针对性调优；用例执行agent：整体解决方案用例执行agent：实现难点分析关键问题：智能化执行的关键挑战是要保障AI智能执行的稳定性关键步骤关键步骤问题定义问题定义解决思路解决思路规划（Panner）如何确保规划与剧本要求一致规划化剧本用例，