A1--张旭东--大数据质量保障体系探索.pdf

1、大数据质量保障体系探索张旭东快手张旭东商业化联盟与数据质量接口人目录01CONTENTS0203商业化数据业务介绍数据质量保障-测试基建数据质量保障-测试执行04数据质量保障-稳定性保障05数据质量保障-总结&展望商业化数据业务介绍 商业化数据服务于整个广告生态，基于业务过程抽象出数据内容，将数据内容赋能于业务的精细化运营、诊断、广告的投放、出价策略、管理决策等等商业化数据业务介绍|挑战数据上报数据上报QPSQPS百万级级单日报表记录数单日报表记录数亿级级小时级数据增量小时级数据增量TB级级天级数据增量天级数据增量PB级级数据量级大数据加工链路长数据质量保障|测试思路测试测试执行数据稳定保障数

2、据测试基建保障数据的完整性、保障数据的完整性、准确性、一致性准确性、一致性保障数据可测性保障数据可测性保障数据的及时性保障数据的及时性与链路稳定性与链路稳定性数据质量保障|测试基建-环境管理p 问题与挑战问题与挑战任务链路长任务链路长从数据源-数据产品将近10个数据加工层01任务节点多任务节点多全链路涉及百+任务/表02环境问题排查难环境问题排查难链路涉及大数据存储、实时加工、缓存、在线报表等多个组建/数据产品，问题排查难度大03数据质量保障|测试基建-环境管理p 解决思路解决思路核心点核心点:线上线下数据隔离、资源的快速申请、无流量环境快速释放分钟级别全套环境搭建、一键检测环境通路、测试间无

3、环境干扰（研发自测、测试、自动化、压测）数据质量保障|测试基建-环境管理p 数据隔离数据隔离通过特定租户做数据隔离，保障数据平台能力复用通过特定租户做数据隔离，保障数据平台能力复用数据质量保障|测试基建-问题定位链路数据存储链路数据跟踪问题定位p 建设思路建设思路通过用户唯一身份ID(用户id、访问id)将实时链路各个任务节点处理数据串接，方便链路数据问题一键排查（含成功、失败打点）数据质量保障|测试执行-影响面分析表结构变更、字段变更、任务代码变更明确变更变更内容上下游关联血缘分析(表/任务关联、字段关联)影响面分析新功能手工验证、历史功能diff验证、自动化回归测试测试验证数据质量保障|测

4、试执行-影响面分析通过对大数据存储实体、在线存储实体、数据任务和大数据产品进行关联，获取表-任务、表-表、字段-任务、字段-字段的血缘关系p 建设思路建设思路数据质量保障|测试执行-sql用例工厂业务需求Sql用例合集select x fromSql执行结果 SQL结果1 Sql结果2p 数据测试执行流程数据测试执行流程数据测试-满屏的SQL!数据质量保障|测试执行-sql用例工厂p 问题与痛点：问题与痛点：测试人员需要将测试用例转化为可执行的Sql 离线数据查询时间长，且出现问题需要先排除自己Sql编写正确性 执行结果分散，测试结果依赖个人截图，质量不可控 测试依据个人经验和习惯编写sql，

5、规范化沉淀难用例编写成本高测试耗时长执行结果不透明用例复用度低数据质量保障|测试执行-sql用例生成p 解决思路解决思路界面化SQL用例编写，标准化用例书写，降低用例编写门槛交互界面化交互界面化基于测试模版自动生成基本信息，测试只需关注核心业务逻辑用例模版化用例模版化基于表维度关联，将表用例自动绑定为数据测试场场景场景自动关联场景自动关联任务调度与执行，方便一键用例执行并将结果页面化呈现结果在线化结果在线化数据质量保障|测试执行-sql用例生成用例场景模版化用例场景模版化用例编写界面化用例编写界面化数据质量保障|测试执行-sql用例生成p 任务任务关联与执行与执行数据质量保障|流程保障-质量卡

6、点建设p 痛点数据质量保障|流程保障-质量卡点建设p 实现思路 基于sql用例生成工具，在数据研发测试流程中嵌入数据质量卡点，保障准入准出尤其研发自测需求质量数据质量保障|稳定性保障-资产等级资产等级应用场景保障要求保障级别时效要求监控阻断A0公司级数据-A1部门级数据-A2业务内数据-A4内部支撑数据-其他场景数据-p 数据资产等级定义基于数据资产等级制定针对性的保障策略和SLA目标数据质量保障|稳定性保障-保障SLAp 故障等级划分保障级别影响范围轻微故障一般故障严重故障重大故障P0 x%m,n)minn,x)minx,y)miny,z)minP1x