阿里云：阿里巴巴数据治理实践汇总报告（23页）.pdf

1、!D a ta FunSummit*+*,阿里巴巴数据治理实践阿里巴巴数据治理实践目录CONTENTS数据治理概念和需求层次数据治理的理论参考数据治理的概念和需求层次01!企业数据治理痛点、阿里巴巴数据治理实践企业数据治理的典型痛点阿里巴巴数据治理的挑战阿里巴巴数据治理的成功关键阿里巴巴数据治理的发展实施阶段0201数据治理概念和需求层次 数据治理的理论参考 数据治理的概念和需求层次!数据管理&数据治理理论参考数据管理协会知识体系 DAMA-DMBOK2十大职能领域DCMM：数据管理能力成熟度评估（2018）信通院：数据资产管理实践白皮书理论和实践相结合的落地指南国际：DMBOK2 十大职能领

2、域1【1】：DAMA国际 https:/dama.org/content/dmbok-2-wheel-images【2】：DCMM：http:/ 八大过程域2数据治理的范畴数据治理的概念和需求层次数据治理的内涵逐步泛化是业界共识企业数据治理，涵盖数据发现可用、数据及时稳定产出、数据质量保障、数据安全合规和数据生产的经济性等多个层次。企业数字化转型阶段不同，治理关注的核心需求存在差异在数据管理过程中，要保证一个组织已经将数据转换成有用信息，这项工作所需要的流程和工具就是数据治理的工作1【1】来源：DAMS，作者 Jelani Harper。有用的信息：数据资产成本生产经济性安全数据权限管理、敏感

3、数据保护、合规要求可用数据的共享使用，易查找、好理解、可复用质量准确性、完备性、唯一性、一致性、有效性 等时效数据生产稳定、产出及时性02企业数据治理痛点、阿里巴巴数据治理实践 企业数据治理的典型痛点 阿里巴巴数据治理的挑战 阿里巴巴数据治理的成功关键 阿里巴巴数据治理的发展实施阶段!数据治理成效进展缓慢，数据问题依旧严重，缺少系统化的工具平台支撑治理落地和成效展现是关键原因之一1243数据治理咨询成果落地不足数据治理产出成果，比如各类规范和管理办法，包括数据字典，多以”纸面文件”的形式流转与企业中，与实际业务和数据没有紧耦合，能满足“我有”,但是没能做到“我执行”自动化服务程度不高业务人员使

4、用数据更多需要数据和技术人员的贴身服务，按照IT建设的模式提出数据加工需求或者取数需求，以被动支持的方式满足业务需求，没有形成数据资产目录，数据服务目录数据治理成效可视度低缺少量化方式来评估数据治理成熟度水平，数据治理工作的推动成效无法体现，变成了纯手动的脏活累活，严重影响数据治理工作的开展推进数据治理在线管理能力不足缺少灵活友好的数据治理在线管理工具，来支持数据治理全流程工作数据治理与数据原仓之间没有打通，“数据的描述”和“数据的记录”两张皮企业数据治理典型痛点企业数据治理新模式从传统架构思维向DT架构思维转变，围绕数据资产化、数据价值释放的核心目标开展工作数据稳定性与质量治理数据规范治理数

5、据安全治理数据成本治理解决数据口径一致性问题解决数据产出及时性和准确性问题解决数据权限控制与数据共享交换问题解决数据计算和存储成本高昂问题阿里巴巴数据治理发展实施阶段特定阶段专注解决主要矛盾监控告警的痛点监控数量监控所有任务是不现实的配置难度为每个任务配置监控规则极为繁琐告警时间每个任务所需告警的时间都不同智能监控核心功能智能识别关键路径，合理设定告警阈值任务异常产生事件，自动评估事件影响范围，通知相应人员灵活告警方式配置，支持钉钉群机器人、电话ABEDFGHCIJKL6:308:306:006:305:006:004:305:00120min10min60min8:309:0060minBE

6、45minD30minF20minGH30minA120minCIJ50minLK30minDataWorks独创、荣获国家专利的智能基线监控技术阿里巴巴数据治理实践：数据稳定性千万级任务的调度情况下，调度依赖关系复杂程度远超过人工处理程度，独有智能基线监控机制确保高优先任务高保障产出输出表1输出表2输出表3表1规则表2规则表3规则任务节点1231 执行任务2 触发规则3 执行规则4 告警/阻塞任务节点1表1规则任务节点2输出表1橙色阈值红色阈值强规则？短信/邮件Webhook机器人阻塞下游214344阿里巴巴数据治理实践：数据质量治理通过完整性、有效性