字节跳动一站式数据治理架构与实践_王慧祥.pdf

1、字节跳动一站式数据治理架构实践基于数据驱动的分布式治理王慧祥 字节跳动全域数据治理负责人目录机遇与挑战字节数据治理理念分布式数据治理架构及实践数据驱动治理智能化治理探索总结&未来展望01 机遇与挑战治理效益与业务影治理效益与业务影响的矛盾响的矛盾 业务系统、生产流程改造影响业务 需求难统一，全局策略难落 保障治理大目标，无法顾及业务个性需求 ROI评估：治理收益、时间周期、业务影响01治理涉及的组织和治理涉及的组织和管理难度大管理难度大 角色多、范围广、链路长 治理目标对齐、管理、跟进难度大 组织越复杂，数据治理难度越大02规范规范“人人”的动的动作难度大作难度大 人员能力参差不齐，对齐目标和

2、优先级困难 治理操作依靠人，规范对人的偏差操作容忍度低 组织文化差异，数据治理落地的方法、挑战、成效各异03缺乏适配性强的缺乏适配性强的产品工具产品工具 现状、问题客观工具缺失 无全局视角工具，直接跳入治理细节 跨部门、跨系统治理目标对齐、协商缺乏治理全流程工具 平台工具不够灵活，只能解决通用治理问题04数据治理挑战数据治理挑战字节治理挑战字节治理挑战文化与效率、业务第一文化与效率、业务第一业务要求业务要求多业务齐发展业务快速发展 快速响应业务需求 敏捷迭代OKROKR文化文化每个人都可参与规划与策略制定分解主动寻找实现路径互相对齐组织快速前进高效治理高效治理没有集团层面的数据治理委员会各部门

3、采取自决策自治的数据治理模式决策与执行效率很高规模大规模大业务场景丰富 互娱 电商 商业化海量数据数据驱动数据驱动资产数据盘点，体系建设 资产元数据，特征、标签 资源使用，存储、计算 工具，操作及收益 经验数据反哺，算法推荐影响大影响大业务影响 数据延迟 质量问题 数据生命周期02 字节治理理念分布式数据自治分布式数据自治传统式治理传统式治理分布式治理分布式治理组织与制度职权与管理成果抽查 梳理业务与数据部门，设立公司级别数据治理委员会/部门 定期梳理公司数据资产，确保资产归属与治理权责明确 组织定期检查业务治理过程是否符合制度，定期检查治理结果业务影响小周期短，见效快效率高，省人力 业务自决

4、策，各级业务/个人都可自驱治理 工具灵活，业务根据自身发展按需，治理助力业务发展 以业务为目标对齐优先级 确认核心数据问题，聚焦投入，非“一刀切”业务内治理目标对齐 实施、追踪、核算工具化 低门槛与算法推荐：业务自驱分析与诊断，自驱优化治理 产品横向沉淀业务治理经验，治理规则、策略共享目标一刀切、自上而下、运动式目标多元化、灵活自治、常态化分布式数据治理平台分布式数据治理平台 治理是不同业务与阶段的实践，在规范与组织上应足够灵活，业务可自身发展阶段制定治理内容，自行对齐与制定部分治理标准，互相对齐形成自驱组织“一个业务单元内的数据有效性提升为数据治理的范围和目标”业务影响小业务影响小-灵活的自

5、治模式灵活的自治模式 产品辅助业务自驱，沉淀业务经验规则化、策略化、自动化进行持续的数据治理 低门槛与算法推荐：业务自驱进行分析与诊断能力，算法赋能治理提效 提供自上而下的规划式治理和自下而上的响应式治理沉淀各业务治理经验，提升治理效率沉淀各业务治理经验，提升治理效率从治理规划到执行诊断与复盘全流程进行治理把控。集成多种治理场景-稳定性、质量、安全、成本、报警各模块可独立使用，按需组合，满足不同业务场景下的数据治理需求产品提供完整的开放能力，业务根据自身特性和发展阶段进行接入适配性强适配性强-产品建设覆盖治理全链路产品建设覆盖治理全链路业务影响小、治理效率高、适配性强业务影响小、治理效率高、适

6、配性强分布式数据治理平台分布式数据治理平台-逻辑架构逻辑架构MetadataMetadata仓库仓库表/任务/报警治理规则引擎治理规则引擎统计规则/算法规则优化工具集优化工具集TTL/温存/申报SLA收益核算收益核算存储量/任务量/vcore基础能力层基础能力层流程框架层流程框架层健康分扣分分析问题定位实施治理治理方案层治理方案层健康分更新确定范围设定目标选取规则执行诊断消息触达实施治理进展更新报警订阅问题处置根因登记复盘总结大盘分析健康分驱动健康分驱动规划驱动规划驱动响应驱动响应驱动治理评估层治理评估层治理用户层治理用户层范围域范围域部门/项目/数据团队/个人资源组/队列/库数仓层级/优先级