《去哪儿网-鲁国宁-去哪儿功能测试左移.pdf》由会员分享,可在线阅读,更多相关《去哪儿网-鲁国宁-去哪儿功能测试左移.pdf(42页珍藏版)》请在三个皮匠报告上搜索。
1、去哪儿功能测试左移实践去哪儿功能测试左移实践鲁国宁鲁国宁个人简介个人简介鲁国宁2019至今:去哪儿网,基础架构-基础平台,致力于测试流程的治理,测试工具建设;建设的平台有自动化测试、全链路压测、代码覆盖率、mock平台、智能推荐、代码瘦身等。20152019:京东商城,效能研发部,从事性能压测平台建设,实现近亿级qps压测,智能寻点等功能;为618、双11保驾护航;目录目录03背景背景降成本实践降成本实践提效率实践提效率实践减减故障实践故障实践01 0204总结总结&展望展望05PART 01背景案例痛点需求背景背景-机票搜索机票搜索案例痛点需求背景背景-案例案例案例痛点需求背景背景-测试工作
2、繁重测试工作繁重准备checklist9个航班类型*120个产品*乘机人构造用例业务接口日志获取数据匹配部署环境触发测试分析结果测试工作案例痛点需求测试心态背景背景-开发自测效率低开发自测效率低开发 Coding自测 发布beta 联调 debug提测 与QA沟通开发5分钟测试2小时需求开发开发吐槽案例痛点需求背景背景-公司漏测故障多公司漏测故障多漏测性能问题发布流程慢查询历史bug其他故障分类故障分类发布故障率发布故障率 3.8%3.8%功能测试占比 5050%案例痛点需求背景背景-需求提炼需求提炼测试降成本公司减故障开发提效率案例痛点需求PART 02测试降成本实践现状分析方案实践落地效果
3、降成本降成本-测试工作调研测试工作调研用例覆盖全有效性1环境部署耗时排队使用2结果结果变化信息庞大3用例 50%环境 20%结果 20%其他 10%数据分析工作难点现状分析方案实践落地效果降成本降成本-用例方案调研用例方案调研覆盖率:在代码质量插入探针(默认false),业务流量走过后探针状态变化(true);执行一条请求后,通过检查是否有新的探针变化,判断该请求是否为有效用例。Checklist:配置参数字段(维度名),系统获取线上日志自动匹配值,生成checklist。再通过日志与checklist匹配,生成测试用例方案介绍现状分析方案实践落地效果Checklist 介绍收集方式收集方式业
4、务点展示业务点展示对外依赖对外依赖性能损耗性能损耗时效性时效性选择选择覆盖率不展示覆盖率高延迟高Checklist展示无低无延迟降成本降成本-用例方案调研用例方案调研方案简介与对比现状分析方案实践落地效果报告执行触发项目流程用户配置变更外部应用应用检查环境部署环境部署用例准备用例准备部署通过用例生成用例编排基准环境测试环境结果获取结果分析Step1Step1Step2Step2Step3Step3Step4Step4通知降成本降成本-自动化整体流程自动化整体流程架构示意图现状分析方案实践落地效果降成本降成本-用例自运维用例自运维增加新增了服务包、航司如何运维?自动补充:生成用例时补充,并重新生
5、成checklist减少叉乘结果不合理?航线消失?时效性检测?两周无法覆盖checklist,标识精简Checklist变化如何处理现状分析方案实践落地效果降成本降成本-代码自动部署代码自动部署代码一致监听线上部署,部署基准环境检测测试环境代码,自动部署自动部署测试代码触发自动化,检测测试环境代码,部署永道环境,支持多需求同步开发基准部署基准部署测试部署测试部署软路由软路由环境部署现状分析方案实践落地效果降成本降成本-结果断言结果断言如何提升断言准确性现状分析方案实践落地效果降成本降成本-落地效果落地效果 平台执行数据 回归测试周期 0.5天 5分钟 排期占比现状分析方案实践落地效果PART
6、03开发提效率实践现状分析方案实践落地效果提效率提效率-调研测试工作调研测试工作部署beta部署慢Debug慢1流程流程繁琐抵触沟通2开发 50%自测 40%流程 10%数据分析工作难点现状分析方案实践落地效果方案类型方案类型场景覆盖场景覆盖时效性时效性性能损耗性能损耗时效性时效性选择选择热部署部分覆盖有延迟高延迟高本地化全覆盖无延迟低无延迟提效率提效率-代码快速测试方代码快速测试方案案热部署:本地编写代码,定时&手动同步到beta环境;本地化:将测试过程由beta环境,转移到本地开发环境;方案介绍与对比现状分析方案实践落地效果提效率提效率-本地化流程图