A3--郭磊磊--快手商业化质量度量建设(1).pdf

1、快手商业化质量度量建设郭磊磊快手测试开发架构师郭磊磊快手测试开发架构师快手商业化技术部测试开发架构师，目前主要负责快手商业化业务中台的质量工作，保障广告账户、员工/代理商政策、客开/人户等业务的高可用性和稳定性。曾就职于阿里巴巴13年，专注于电商业务的质量保障工作，先后负责商品、交易、内容、搜索等多个业务域的质量建设，多次负责双11、双12等大型促销活动的服务端稳定性保障工作。目录C O N T E N T S1.背景介绍2.度量体系的建设2.度量体系的应用3.度量体系的后续演进议题背景01度量的定义通过某种标准或工具，对事物的特征、性质或表现进行衡量和评估的过程或结果标准（计量单位）：米、英

2、寸、公里 工具：卷尺、直尺、激光测距仪 事务：纸箱子特征：长度、宽度标准（计量单位）：克(g)、磅(lb)、斤、两 工具：杆秤、天平、机械秤、电子秤 事务：集装箱、木箱特征：重量度量的定义对软件开发项目、过程及其产品进行数据定义、收集以及分析的持续性定量化过程交付时间交付质量运行时间（可靠性）交付速度 研发周期 发布周期 缺陷率 测试覆盖率 等待时间 恢复时间 平均检测时间（MTTD）平均修复时间（MTTR）BUG修复的平均时间 团队速率 发布数量 已完成的需求数 需求完成率研发效能挑战的分析可研与计划需求分析概要设计详细设计编码软件测试运行维护可行性研究报告需求规格说明书概要设计文档详细设计

3、文档程序测试报告需求阶段开发阶段运维阶段瀑布研发模型敏捷研发模型测试发布开发需求计划回顾迭代前迭代后迭代中快手效能的挑战211WeeksWeekHour交付周期研发周期发布周期拉动产品、开发、测试和运维全链路各角色高效协作从需求规划到上线时间拉动技术团队各角色间高效协作，并提高过程质量需求设计完成到可上线时间拉动卓越工程技术能力编码完成后，上线所需要花费的时间快手效能的挑战需求确认开发中待测试测试中测试完成已发布开发周期测试周期发布周期交付周期研发周期需求规划单元测试CodeReview冒烟用例代码扫描问题修复自动化测试数据构造测试数据构造代码覆盖编码效率OnCall等额外事务插入技术方案开发

4、工具支撑测试耗时开发耗时系统架构VS质量效能的概念 在保证质量的同时，提高工作效率和效果，避免因频繁修改和调试导致的资源浪费和时间延迟 效率质量回滚、返工工序缩减快手商业化质效的挑战链路长大量业务涉及实时数据、离线数据，跨系统和团队交互场景多历史债务重商业化业务正处在从”野蛮生长”向”有序发展”的转型阶段，即有沉重的历史包袱，也有高速发展的质量问题影响范围广商业化业务数据耦合严重，单点的线上问题可能成为脏数据，影响整条链路快手商业化质效的策略看清现状引导优化跟踪落地快手商业化质效的发展历程线下质量线上质量Reopen问题占比P0/P1问题占比P0问题12小时解决率千行代码缺陷率人均缺陷数冒烟通

5、过率安全漏洞数安全漏洞等级故障级别线上问题遗漏率线下缺陷提测质量安全漏洞线上故障指标量化分级评估量化打分优化分析Action落地快手商业化质效方案的优势不单纯观测系统质量，从业务视角评估团队质量保障能力质量结果数字化，指标结果的变化，引导优化方案&评估优化落地进度和效果指标的量化&分析仅仅是开始，跟进&督促改进事项落地进展，推进质量的提升代码质量-团队保障能力结果展示-优化引导总结分析-过程监督快手商业化质效方案的难点研发流程线上化数据的置信度度量指标的取舍质量分月度分析改进优化督促质量分模型迭代统一认知&工具定位研发流程规范宣导学习考试上岗质量分能力建设度量运营机制基础培训&规范宣导快手商业

6、化质效方案落地的情况质量分反馈时效性 建立质量分平台，提供按照不同组织维度、时间周期的查看能力，提升质量问题反馈的效率待办事项跟踪 结合报告分析产出改进action后，需要持续跟进action落地进展，总结发现的风险及时被解决快手商业化质效方案当前的挑战引擎&算法研发模式差异性研发模式的迭代对数据采集增加难度研发流程差异性工作内容的差异性结果评估的不确定性阶段边界模糊变更数据采集源增长&口径不统一快手商业化质效方案未来探索的方向模型优化丰富模型指标，提升度量指标的完整性逐步从