1-高隆-数字娱乐论坛.pdf

1、DataFunConDataFunCon#20242024B B站站 数据治理运营框架数据治理运营框架 应用实践应用实践演讲人：高隆bilibili数据仓库工程师高隆“表哥DAMAB站数据成本治理数据质量”讲师简介分析工具：分析工具：DAMA-BokDAMA-Bok案例案例1-2022-05-11 1-2022-05-11 存储水位风险存储水位风险虚拟组织嵌入治理元数据管理案例案例2-202X-XX-XX 2-202X-XX-XX 某页指标错误某页指标错误 质量运营质量的需求与满足数据治理中的风险目录数据管理知识体系数据管理知识体系DAMA-DMBOKDAMA-DMBOKDAMA 成立于 19

2、80年，是一个全球性数据管理和业务专业志愿人士组成的非营利协会，致力于数据管理的研究和实践*左上图是买书的时候送的鼠标垫1 1车轮图：11个知识领域2 26边形图：每个知识领域的7件事情1 12 23 312原则：采取行动和判断时的依据4 4语境关系图：每个知识领域都可以展开成具体的活动、方法、目标、指标3 34 4案例案例1-2022-05-11 1-2022-05-11 存储水位风险存储水位风险名词解释：名词解释：存储水位：HDFS集群存储 部门数管：部门的“CDO”Quota：部门预算资源分配 A级数据：多为跨部门使用数据 Trash 数据：一般存7日案例背景案例背景问题与挑战预案预案执

3、行项执行项DAMA Bok DAMA Bok 原则原则问题问题4级（90%）通知数管执行治理数据管理需要领导力支撑1.组织变更2.数据资产无定期盘点3级（93%）删除长期无访问数据数据价值使用经济术语表达3.没有执行驱动力4.删除数据存在风险2级（95%）删除 trash调整冷数据容量数据管理需求驱动技术决策5.trash类 数据如何归属6.用户没有直接控制trash大小的能力1级（97%）根据分配限制部门写入数据管理是数据生命周期的管理7.组织变更预算归属变更难管理8.限制数据写入风险极高破题思路问题问题DAMA Bok DAMA Bok 知识领域知识领域 -方案方案Part1Part11.

4、组织变更2.数据资产无定期盘点数据治理-虚拟组织数委会（人的虚拟组织）资产空间（数据的虚拟组织）Part2Part24.删除数据存在风险8.限制数据写入风险极高数据治理-嵌入治理预算分配QuotaLimit（预算超限，限制“新增”）数据退役SOPPart3Part33.没有执行驱动力7.组织变更预算归属变更难管理数据治理+元数据-元数据的管理与应用元数据数仓（Gravitino 开源项目）资产账单数据治理平台破题思路 变更方案Part1Part2Part3Part1：数委会-组织5%20%80-85%问题应该在该层解决问题上升渠道问题上升渠道执行情况检查执行情况检查组织中的决策层组织中的决策层

5、数据委员会数据委员会数据空间团队数据空间团队治理单元管理团队治理单元管理团队组织目标组织目标数据目标数据目标长期规划长期规划Part1：数委会-80%数据治理、确权 5%20%80-85%问题应该在该层解决问题上升渠道问题上升渠道执行情况检查执行情况检查组织中的决策层组织中的决策层数据委员会数据委员会数据空间团队数据空间团队治理单元管理团队治理单元管理团队组织目标组织目标数据目标数据目标长期规划长期规划Part1：数委会-20%数据规范5%20%80-85%问题应该在该层解决问题上升渠道问题上升渠道执行情况检查执行情况检查组织中的决策层组织中的决策层数据委员会数据委员会数据空间团队数据空间团队

6、治理单元管理团队治理单元管理团队组织目标组织目标数据目标数据目标长期规划长期规划Part1：数委会-5%冲突解决5%-虚拟资源虚拟资源01资源分配资源分配 +运营成本运营成本02应用举例应用举例 “潮汐账单潮汐账单”03*关于“指标 标签”与“道行数知名”道数名知行123456AB案例案例2 202X-XX-XX 2 202X-XX-XX 某页面某页面 指标展示指标展示 错误错误 案例背景（2线6问）问、答、todo数据线和质量5维时间线和6问从 CS 到 TODO事后事后