从阿里最佳实践到瓴羊数据治理.pdf

1、从阿里数据治理到瓴羊Dataphin梁超数据建设的三个阶段：从在线开发到数据综合治理阶段一在线开发关注研发人员个人效率提升关注数据质量和资产管理关注数据的业务化组织及服务阶段二数据平台构建与管理阶段三数据综合治理大数据建设，不仅仅是研发效能的问题烟囱式开发及局部业务服务支撑，导致同名指标不同口径的问题频发；历史不同业务系统逐步迭代上线，相同对象属性编码不一致等问题突出重复建设导致任务链冗长、任务数繁多，计算资源紧张，数据时效性不好；口径梳理定义的文档与开发代码脱节，数据准确性保障风险高烟囱式开发的开发周期长、效率低，面向应用的服务化不足，导致业务响应速度慢，业务不满且技术无沉淀；既懂业务又懂数

2、据的人才不足，需求理解到开发实现涉及大量沟通烟囱式开发造成资源重复建设浪费；上线难下线更难，源系统或业务变更不能及时反映到数据上，加之数据不标准，研发维护难上加难的同时，大量无用计算和存储造成资源浪费数据标准数据质量需求响应成本资源阿里巴巴也一样经历过：阿里巴巴也一样经历过：业务之痛、数据之痛1、数据流无方向性2、数据管理无序，失控3、资源浪费，业务不满业务体感不好 命名不规范、口径不统一、算法不一致等导致的数据不标准使得业务困扰；烟囱式开发的开发周期长、效率低，面向应用的服务化不足，导致业务响应速度慢；重复建设导致任务链冗长、任务繁多，计算资源紧张，数据时效性不好技术不爽且浪费 烟囱式开发的

3、重复建设浪费技术资源；上线难下线更难，源系统或业务变更不能及时反映到数据上，加之数据不标准，研发维护难上加难；在不变中求变，在发展中创新阿里巴巴数据中台建设的关键举措战略共识组织升级人才沉淀从资源到资产，从成本到价值数据从分散到统一管理从混乱到有序数据从孤岛到融通服务从数据到产品“工具+规范”打造标准化采集第二步：用工具来管理，提升效率方案管理：不同版本、不同开发计划埋点方案统一管理数据验证：快速验证埋点质量，定位错误信息价值标准规范：埋点流程规范、埋点设计规范、埋点测试规范第一步：建立一套规范埋点流程规范需求梳理事件设计埋点实施看板检验智能管理事件体系规范曝光事件类型自定义事件类型页面事件类

4、型点击事件类型区块与内容管理规范事件设计规范事件ID、参数ID、上报机制、上报类型用户属性、属性ID、属性类型SPM管理页面区块，并跟踪来源去向SCM内容管理，分析内容&活动在各个位置的效果保障数据资产健康，促进数据资产流通，催生数据资产价值组织：集团数据治理小组，业务部门协同运营及管理体系标准：标准的修订与迭代资产健康度普查设定目标制定策略配套工具实施运营形成长效机制全链路数据治理体系及闭环治理能力平台化能力开放赋能合作共建提升效能个性化需求自运营能力评估体系奖惩机制意识培养运营机制标准数据治理内容数据治理产品数据治理实施数据治理方案数据健康度标准资源、质量安全、模型数据治理对象组织、个人自

5、定义数据集运动式、单点低效无沉淀治标不治本解决方案高效可复用有效可执行治理框架治理能力开放个性化标准自定义治理自主化运营治理闭环引擎现状分析问题诊断治理优化效果追踪源自实战沉淀的阿里巴巴大数据能力框架=产品+技术+方法论解决之道：实战沉淀阿里大数据能力产品化Dataphin智能数据构建与管理One Data统一数据建设&数据资产管理能力-标准统一、资产而非成本统一实体连接识别与标签高效生产能力-数据融通而非孤岛存在统一数据服务能力-复用而非复制数据Dataphin 智能数据建设与治理数据来源数据消费面向各行各业大数据建设、管理及应用诉求，一站式提供从数据接入到数据消费全链路的智能数据建设与资产

6、治理的大数据能力，包括产品、技术和方法论等，助力打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系，以驱动创新。资产建设资产运营资产治理好数据Dataphin的核心能力数据接入数据消费数据生命线：质量、效率、成本工具化、自动化、智能化、价值化消除二义性数据规范定义标准自动化代码生成设计即开发快捷全链路数据治理数据资产管理易用简化查询与分析主题式服务价值数据可集成数据引入丰富数据虚拟化一站式全链路数据定义、模型设计、数据生产、数据管理、数据服务数据引入：全域数据可集成数据输入集成数据轻度转换数据输出应用丰富个性丰富安全个性高效灵活安全全域数据引入数据规范定义设计即开发资产管理主题式