《A2--熊林涛--精准与压测业务变更影响范围的常态化性能评估与实践.pdf》由会员分享,可在线阅读,更多相关《A2--熊林涛--精准与压测业务变更影响范围的常态化性能评估与实践.pdf(39页珍藏版)》请在三个皮匠报告上搜索。
1、熊林涛 中免日上-软件工程效能部熊林涛中免日上 测试开发专家现任职于中免日上测试开发专家,负责公司内部精准测试、全链路压测等相关基建的建设。QECon 2022上海站精准测试主题明星讲师,曾任职于德邦、bilibili等公司,擅长服务端测试,效能提升和创新项目,在自动化、性能、精准、AI测试、NLP等领域有丰富的实践经验。目录CONTENTS项目背景0102解决方案性能测试&精准测试03落地效果04未来展望05PART 01项目背景项目背景01任务独立交付,平均每天30+次发版0203高频的持续交付高昂的压测成本高危性能问题频发每年数百万云厂商的压测费用618、周年庆,频频崩上“热搜”痛点代码
2、/接口改动后,难以快速评估影响范围,更依赖于人工经验进行判别变更影响不透明大规模性能验证所依赖的机器资源,人力资源,成本高昂压测成本高代码提交、业务验收、性能验证跨度时间长,问题的发现整体时间会延后性能问题发现后置粗放式传统压测PART 02解决方案痛点解决方案压测成本高使用费用/技术门槛高:传统压测依赖商业工具或云服务,成本高昂且灵活性差。我们通过自研分布式压测平台,通过k8s动态调度,实现百万级并发模拟,纯UI操作,降低用户使用门槛。变更不透明构建精准测试分析系统,基于静态代码分析+动态插桩,自动识别变更影响的接口、服务和依赖组件,结合代码变更历史+调用链路追踪,精准划定测试范围。问题发现
3、后置通过CI/DevOps集成常态化压测,每次代码合并后自动触发相应场景压测,10分钟内反馈吞吐量、RT、错误率等指标,并与历史基线对比,自动拦截性能回退。常态化性能质量门禁压测&精准测试分析执行反馈泰山-压测平台 基于Golang实现的分布式压测引擎,支撑平台百万级并发测试 生产环境实际流量的等比例同步至压测环境,并支持过程中流量动态等比扩缩容 打通上下游,CI自动触发执行,丰富的测试报告、链路信息、服务监控信息帮助快速定位问题精准测试 基于SSA+AST的静态分析,构建跨微服务的完整调用链路 结合代码变更历史+链路追溯,缩减80%的测试范围,遗漏率为0 推进手工/自动化测试用例,以及性能测
4、试场景的不断完善PART 03性能测试&精准测试泰山技术架构开源地址:https:/ rps 生产流量30%首页商品20%商品详情10%商品下单10%订单查询30%首页商品20%商品详情10%商品下单10%订单查询压测环境泰山问题快速定位精准测试-流程图原始业务代码插桩后代码测试用例函数调用链代码Diff用例-函数节点Neo4j测试推荐静态扫描动态执行插桩存储存储改动节点图谱查询精准测试静态扫描调用链采集精准测试AST补充节点信息精准测试原数据解析变更代码分析影响范围分析 常态化压测流水线验证全流程无人值守 常态化压测性能评估常态化压测持续完善覆盖度监控版本迭代联动异常场景挖掘性能基线容量模型
5、PART 04落地效果 泰山平台研发自测压测策略生态使使 用用费费 用用混合云定制报告 精准测试范围分析用例推荐CI Case常态化压测需求夹带任务验收历史缺陷标注核心链路标注冒烟用例集成case(接口自动化)反推用例补全存量用例精简下游依赖验证常态化压测触发机制触发机制性能基线性能基线反馈闭环反馈闭环覆盖持续性覆盖持续性组织协作组织协作 手动/定时触发 代码变更/流水线事件自动触发 单次结果孤立对比 历史版本性能对 报告需人工分析 流水线质量门禁 仅覆盖大促/发布 724小时覆盖所有变更 测试团队单点负责 研发自测+运维监控+质量全链路协同PART 05未来展望未来展望压测脚本自动生成性能瓶颈自动定位性能智能调优总结深度融合精准测试与自动化压测能力,通过代码变更分析,精准识别接口影响范围,流水线触发针对性压测场景。基于 DevOps 流程实现常态化测试,在 CI/CD 阶段自动执行差异化压测,结合实时监控与基线对比,快速暴露性能退化问题压测执行GUI配置复杂场景+多策略-自动扩缩容-过程监控-全链路快速分析定位问题精准&常态化压测压测计划匹配-流水线触发-性能基线对比-结果推送影响范围分析代码扫描-变更分析-获取接口泰山精准Q&A开源地址:https:/