A4--胡涛--从压测到剖析 - 中国银联性能测试实践.pdf

1、从压测到剖析中国银联性能测试实践胡涛中国银联胡涛中国银联性能测试负责人牵头建设组织性能测试平台、性能剖析工具等参与亿级用户的云闪付APP的生产全链路压测、性能分析和优化中国银联技术开发中心 软件开发工程师目录CONTENTS背景、要解决的问题01 性能测试面临的挑战02 性能测试体系建设03 落地效果和总结04 展望未来05 01议题背景01系统保障02资源配比03性能监控04瓶颈定位性能测试实施背景营销大促活动中，如何提升各系统应对短时海量访问冲击的技术能力大规模分布式的部署下，如何做到资源最大利用、合理配比，精准扩容性能测试过程中，如何提高全方位的性能态势感知水平不同的技术实现、架构、部署

2、环境，如何实现性能问题快速定位性能测试演化历程2009以前20102016201720202021至今各系统分别开发各自的压测工具、脚本和实施方式，性能测试依赖人工执行和分析统计建设统一的监控体系，全链路压测平台，性能测试朝着统一的平台化和工具化发展推进性能工程建设，推动性能剖析手段、可观测性和调优方式的优化和创新 编写调试脚本 多人手动批量启停脚本 人工查看和记录压测数据 平台自动调度执行脚本 平台收集压测数据 人工整理性能数据 人工配置链路信息 平台化执行压测任务 平台化收集性能数据 智能化性能剖析建设云监控平台和各类性能监控手段，推动性能测试的标准化和常态化，打通从测试到生产的全链条性能

3、测试目标02性能测试的挑战03性能测试体系建设开发团队：提供性能测试所需系统信息，协助明确性能测试相关指标，参与性能分析和定位测试团队：负责研发测试环节性能测试实施，性能工具平台开发，提交性能测试报告职能与分工规范指引：根据各系统业务特点和实际需要，制定性能测试的流程制度、指引规范能力复用：充分复用现有的功能测试案例、脚本，挡板工具等，减少重复投入规范与流程压测平台：建设适合自己的全链路压测平台和性能剖析平台性能分析：积累性能问题，打造专家库，提高性能分析智能化水平技术和能力l通过多轮压测，深入分析，发现代码、配置、框架、组件等层面的性能问题；l通过快速迭代，优化代码，到达性能最优测试环境单链

4、路压测生产环境全链路压测l排查非应用层的问题，如中间件连接数、带宽、网络设备容量、限流策略等l准确评估系统容量，各层资源配比是否基本合理，是否满足业务评估值需求分析方案设计环境准备性能实施问题分析性能报告方案制定预检查压测实施问题分析环境恢复性能基线开发阶段不断迭代优化持续集成全链路压测平台需求受理生产运维通用挡板服务通用加解密服务性能分析工具分布式链路跟踪环境治理监控需求分析功能开发性能测试版本发布接口自动化工具全链路流量染色全链路风险熔断全链路数据隔离全链路安全控制压测数据清理压测过程监控统一logId标记；非业务参数透传挡板服务；限流熔断开关影子表、库；数据标记；数据偏移专用证书、密钥；

5、参数校验随生产数据清理；单独清理调用链路全程性能监控、预警、紧急处置措施非业务参数透传通信协议通信协议注入点注入点参数参数HTTP/HTTPSHead头信息perfTest=1RPCAttachment信息“perfTest”:”1”Mesh报文头resv字段“perfTest”:”1”以dubbo协议为例影子表、库LVS/F5Nginx网关服务A服务C服务BRedis服务D压测流量压测标识全链路透传消息队列外部服务挡板日志采集服务大数据备份服务HTTPHTTPHTTP影子库RPC压测日志生产库生产日志引流到挡板数据偏移数据偏移场景灵活编排多种压测模式数据实时展示智能巡查预警在线性能剖析自动生

6、成报告压测与性能剖析平台构造场景执行调度脚本文件结果分析性能监控任务管理压测引擎被测系统监控数据监控数据.压测流量压测流量控制中心agentagent异构数据采集与计算智能决策诊断规则引擎剖析工具性能工具盒agentagent应用服务节点服务进程CPUMEMDISKIOLOAD线程信息堆、栈信息垃圾回收方法耗时attach中间件连接数OPS网络IO慢查询加工数据热点方法火焰图连接数类加载调用链消息堆积死锁反编译热修改静态扫描代码配置依赖基于eBPF的链路跟踪eBPF 源于 B