滴滴数据血缘建设实践.pdf

1、 滴滴数据血缘建设实践演讲人：罗学焕建设背景建设背景建设总览建设总览设计与实现设计与实现血缘应用血缘应用未来规划未来规划Q Q&A A01建设背景建设背景滴 滴 数 据 体 系SparkHiveFlinkClickHouseStarRocksDruidHBaseElasticSearhKafkaLogAgent数据计算存储分布式文件系统：HDFS统一资源调度：YARN统一元数据：MetaStore统一权限：Ranger离线计算实时计算OLAPNoSQL日志检索数据通道离线开发一站式数据开发平台-数据梦工厂实时开发任务调度数据质量监控告警同步中心项目管理ODS基础数据层DIMDWD网约车DWS统

2、计应用层两轮车DWS货运DWS网约车DWS两轮车DWS货运DWS数链平台指标管理数据开发产品万花筒孔明灯青桔360代驾门户金融门户数据门户元数据中心资产管理平台数据地图策略算法平台数易数小智InSight数据大屏分析产品标签特征需求挑战l 业务复杂产品繁多，用户想看清数据的来龙去脉？l 用户想做治理降低成本，想下线一张表怎么确保表无下游，无使用？l 数仓想优化一下加工链路，如何判断哪些依赖不合理？l 血缘，覆盖全覆盖全吗？l 血缘，准吗？l 血缘，智能智能吗？需 求 与 挑 战02血缘建设总览血缘建设总览能用初建血缘看清上下游V1.0敢用扩大覆盖面提升准确率v2.0好用应用扩展工具化v3.0血

3、 缘 建 设 历 程来源系统血缘数据采集、存储、分析、应用执行日志任务信息配置信息外部导入血缘应用Spark解析、加工、同步数梦平台同步中心数易平台标签平台特征平台其他.实时解析血缘查询离线解析SQL解析路径解析逻辑计划解析Tag解析图库缓存血缘存储血缘关系血缘统计加工统计血缘服务血 缘 建 设 总 览血缘接入覆盖关系链路覆盖关系链路50+50+覆盖数梦，数易，特征等产品内和产品间血缘，总链路达到50+准确率准确率99.99%99.99%Hive血表缘准确率达到99.99%，字段血缘97%解析血缘数千万级解析血缘数千万级解析任务，日志，第三方关系，解析结果千万级日均调用量日均调用量实时解析服务

4、日均调用量百万级覆盖线上核心链路覆盖线上核心链路20+20+核心链路指产生问题可能导致线上故障的链路血 缘 建 设 现 状03设计与实现设计与实现血缘存储血缘来源来源血缘解析血缘实时化设 计 与 实 现血 缘 来 源运行日志Spark日志MR、Yarn、HDFS日志Presto、SR，CK日志.任务配置同步任务调度任务数链API.第三方系统特征平台标签平台数易平台.用户上报用户上报人工录入血 缘 解 析SQL语法解析器INSERT INSERT OVERWRITEOVERWRITE tabletableoutput_tableoutput_tableSELECTSELECT id id ,na

5、me,name ,age,ageFROMFROM input_table1 input_table1UNIONUNION ALL ALL SELECTSELECT id id ,name,name ,age,ageFROMFROM input_table2input_table2output_tableid:bigintname:stringage:bigintinput_table1id:bigintname:stringage:bigintinput_table2id:bigintname:stringage:bigintSQL(Spark/SR)AST虚拟表语句数据处理插入查询插入表un

6、ion输入表输入表parse用户代码如果没有SQL直接通过API读的文件怎么办？Loginput_pathinput_path:hdfs:/cluster1/meta.db/input_table_1output_pathoutput_path:hdfs:/cluster1/meta.db/output_tablemeta.input_table_1table:meta.input_table_1location:location:cluster1/meta.db/input_table_2.Metastoremeta.output_table匹配血 缘 解 析路径解析器有SQL就一定有血缘下