1、B站数据治理指标体系椰子 哔哩哔哩 资深数仓开发工程师|01数据治理的背景02数据治理指标模型03成本治理实践04题外目录CONTENT|01数据治理的背景|数据治理项目背景|数据爆发式增长，存储猛增，任务性能堪忧数据质量无保障，事故频繁，客诉多资产缺乏管理，成本无法评估数据权限体系混乱，存在数据安全隐患其余问题等等12345各类管理问题 产出超时、数据不一致、存储紧张、任务跑不动、找不到负责人、数据还有人在用吗类目繁杂 多年历史积累：孤岛数据、未压缩、有一部分无主数据、无人跟进存量巨大数据治理项目背景|!#$%!&$()*+,-./0!#$%!&$*12345634783!#$9:;?ABC

2、DE&$!数据治理数据质量管理成本管理模型开发管理数据安全管理数据集成管理要解决：由谁做些什么动作和内容为什么要做怎么做做到什么程度的问题数据架构|HDFS、YARN、KAFKA、FLINK等开发、调度、监控、权限用户、行为用户模型开发运维血缘安全资产操作质量主题成本主题用数主题埋点主题安全主题治理平台资产账单安全审计质量大盘应用指标模型数据源数据治理指标集的视角|FG*?!#$%&()*%&+,-.%&/012%&33HI*JK45678/06789:678;)?A=BC%&=DEFG=HIJK33OF*PQLMNOPQNO12NORSNO33!*RST(UVWXYUVZ,UV9:UV33数

3、据治理指标集的视角|FG*?!#$%&()*%&+,-.%&/012%&33HI*JK45678/06789:678;)?A=BC%&=DEFG=HIJK33OF*PQLMNOPQNO12NORSNO33!*RST(UVWXYUVZ,UV9:UV3302数据治理指标模型|从目标拆解实施策略实施命中及效果评估要完成的目标指标治理指标体系模型|治理目标治理策略策略评估问题-标准制定能够规避/解决问题的标准标准-实施按照标准制定策略并实施指标-问题从指标中发现、说明问题实施-指标实施效果通过指标来评估指标问题标准实施实施策略和评估指标建立起一个循环指标体系模型基本运营方法数据化运营方法|策略从目标拆

4、解，所以要先确定目标指标目标指标是一个周期内要完成的，不是一个无限期目标正例：本季度目标是存储下降500PB反例：成本治理目标是存储下降500PB目标指标是明确的度量，不是一个抽象的概念正例：本季度目标是P0事故数=0反例：本季度目标是不发生重大事故从目标拆解实施策略实施命中及效果评估要完成的目标指标治理目标治理策略策略评估策略制定分为策略方向和实施项策略方向是通过目标指标或上层策略方向直接获得的策略方向是一个基于因果、包含等直接关联的拆解实施项是基于上层策略方向，探索数据而得的实施项有时不易于从因果性、包含性等关联关系的思考中直接获得基本运营方法|问题-标准制定能够规避/解决问题的标准标准-

5、实施按照标准制定策略并实施指标-问题从指标中发现、说明问题实施-指标实施效果通过指标来评估指标问题标准实施探索该清单中的共性特点探索目标：从中发现问题、说明问题上层策略方向找出与策略方向大相径庭的数据资产清单“从xx指标来看，这个数据存在的问题是xxxxx。”循环的起点治理指标体系模型|治理目标治理策略策略评估一个体系，全盘适用1.降低用量2.降低单价1.总用量2.单价均值存储成本下降1.降低新增2.降低存量1.每日新增量2.历史存量总用量下降分层存储1.冷存储量2.冷数据量单价均值下降1.数据采样2.结构优化1.表行数2.行密度每日新增量下降数据压缩1.压缩下降量2.未压缩量历史存量下降成本

6、管理存储成本治理指标拆解：先列策略效果指标，再列实施项命中指标因果方向包含方向实施项实施项实施项治理指标体系模型|治理目标治理策略策略评估一个体系，全盘适用1.提升监控覆盖2.告警提效1.监控覆盖率2.告警有效率异常发现率提升执行标准化监控配置非标监控任务数监控覆盖率提升1.告警响应提速2.告警反馈1.响应耗时2.告警反馈率告警有效率提升缩短处理路径1.非电话告警数2.告警对象不正确数响应耗时下降数据质量管理监控治理指标拆解：先列策略效果指标，再列实施项命中指标因果方向包含方向治理指标体系模型|治理目标治理策略策略评估一个体系，全盘适用1.提升推荐表透出2.加快可用判断1.推荐表点击深度2.探