网易基于DataOps的敏捷、高质量数据开发实践-郭忆.pdf

1、网易基于网易基于DataOpsDataOps的开发治理一体化实践的开发治理一体化实践郭忆|网易大数据 EasyData 产品技术负责人 网易数帆 数据开发与管理平台 EasyData 产品负责人 研究生毕业于天津大学，计算机应用专业 加入网易12年，一直从事数据相关系统设计和研发 构建了网易数据中台支撑技术体系，支撑了网易云音乐、严选、传媒、有道的数据中台项目建设 多次受邀在全球互联网架构大会（GIAC）、全球开发者大会（QCon）、中国数据库大会（DTCC）、系统架构师大会（SACC）分享大数据建设实践经验 极客时间专栏数据中台实战课作者，订阅量超过21000+郭忆 DataOps 2.0：

2、开发治理一体化实践 DataOps 1.0：敏捷、高质量开发实践 DataOps 行业实践Agenda 网易数帆网易杭州研究院网易数帆华夏银行华夏银行音乐电商教育传媒办公邮箱物流农业零售金融教育电力公共技术研发前瞻技术研究创新产品孵化工具产品平台公共数据建设数据建设方法论制造医药记忆科技记忆科技网易数据生产力的实践历程2006分布式数据库、分布式文件系统、分布式搜索引擎，三驾马车支撑了网易互联网2.0时代的产品2009开始基于Hadoop做数据分析以及运维2014大数据平台上线，加速了大数据规模化应用2017网易大数据正式对外商业化2018网易严选、音乐、有道、新闻等业务相继开始数据中台构建，

3、网易发布“全链路数据中台”解决方案2020网易实践“DataOps”，加速数据分析效率，提升数据开发质量2022网易发布 开发治理一体化“数据治理 2.0”解决方案数据生产力数据生产力：广义上：通过使用数据带来组织生产力提升。狭义上：企业员工使用平台工具采集数据、处理数据，数据分析以及管理数据的能力。一个愿景：人人用数据，时时用数据三个方法论：DataOps、DataFusion、DataProduct数据资产中心数据集成数据开发数据测试任务运维数据标准数据元数据字典标准发布数据分类元数据管理元数据采集元数据注册元数据扫描元数据发布数据质量稽核监控质量报告强弱规则质量工单数据脱敏安全等级敏感识

4、别权限申请数据安全原子/派生指标系统模型设计中心版本管理指标字典指标关联维度建模量化评估规范设计发布审核价值分析成本分析量化ROI数据下线数据门户有数BI可视化报表智能决策驾驶舱API发布数据服务服务权限服务编排服务监控数据目录数据检索资产门户数据血缘数据地图基于DataOps 全生命周期数据开发NDHHDFS/S3Arctic（实时数据湖）Yarn/K8s自动化运维管理活动管理CDP人群圈选渠道触达活动分析产品矩阵自助取数数据准备移动端数据大屏数据填报复杂报表机器学习交互式建模在线推理可视化建模训练任务sparkhiveImpalaflink他们都在用网易大数据华泰证券华泰证券华福证券华福证

5、券华夏银行华夏银行马上消费马上消费好未来好未来南方日报南方日报记忆科技记忆科技温氏集团温氏集团九州通九州通福建电力福建电力绿瘦绿瘦中国能建投中国能建投浙交规浙交规浙江移动浙江移动浙商银行浙商银行东北证券东北证券广发证券广发证券民生证券民生证券杭州联合银行杭州联合银行泰康资产泰康资产比心比心浙江电信浙江电信科沃斯科沃斯浙江机电浙江机电浙江日报浙江日报长安汽车长安汽车广汽汽车广汽汽车华存华存华夏银行华夏银行国新证券国新证券天风证券天风证券恒丰银行恒丰银行杭州银行杭州银行台州银行台州银行渣打银行渣打银行北京银行北京银行南京大数据南京大数据五菱汽车五菱汽车吉利汽车吉利汽车路特斯汽车路特斯汽车江苏农信江

6、苏农信 DataOps 2.0：开发治理一体化实践 DataOps 1.0：敏捷、高质量开发实践 DataOps 行业实践Agenda 网易数帆DataOps：血淋淋的教训 在某电商业务中，业务三单有礼，因为上游任务变更，导致下游涉及资损数据计算异常，造成P1级别30W生产事故。在某电商业务中，由于订单标签任务依赖配置缺失，导致下游任务空跑造成数据异常，给老客发了红包，造成P1级别 20W的资损。数据开发65%数据问题数据开发任务变更导致的生产环境数据问题占比达到65%！按期交付按期交付延期交付延期交付按期交付率按期交付率30%的需求交付延期DataOps：为什么会出现这些问题？任务依赖复杂，