1-2 数仓规范化—菜鸟数据模型管理实践.pdf

1、数仓规范化-菜鸟数据模型管理实践总体方案篇王智龙 菜鸟末端数仓公共层模型负责人平台建设篇董晃菜鸟公共数据数仓研发工程师|01菜鸟末端业务介绍03数据建模平台建设02模型管理整体规划04总结&展望目录CONTENT|菜鸟末端业务介绍01|菜鸟末端业务简介菜鸟驿站建立面向社区和校园的物流服务平台，为用户提供包裹代收、代寄等服务，致力于为消费者提供多元化的最后一公里服务。|菜鸟末端业务大图网络网络拓点、网络运营、网络管理硬件高拍仪、巴枪、云监控、小票打印机、小易工作台、寄件机等代收寄件商业化数智驿站自提上门网点直送到站寄件上门寄件驿站广告洗衣派样24小时驿站开放式驿站公益纸箱回收消费者服务消费者运营

2、驿站团购消费者体验|菜鸟末端业务数仓架构整体设计数据计算数据服务数据应用结构化数据非结构化数据OneService API分布式KV存储Hbase/Lindorm关系型数据库mysql自助取数数据产品数据专项业务监控数据同步（离线/准实时/实时）datax/tt天工服务API智能算法实时FlinkODSCDMADM离线MaxCompute分析数据库服务Hologres/ADB数据建模任务调度监控告警数据质量数据资产数据安全数据地图数据源DM数据开发治理DataWorks|业务快速迭代和发展的情况下，缺少融合建模规范、建模实操、数仓大图、数据质量、衡量指标等为一体的线上建模工具1数仓规范和建模实

3、操脱离2中间层不够丰富，烟囱式开发3模型中英文映射词库不丰富4模型字段同意不同名6表的ER关系不易检索7资产盘点复杂8模型问题导致任务报错多9无线上体系化的指标衡量数仓5模型研发缺少有效的系统工具9大痛点业务数仓建设痛点模型管理整体规划02|业务数据规范化建设问题问题总结问题总结n公共层覆盖度不足，应用层访问S层表比例太高n核心模型复用性不足，中间层表总数年增长50%以上n核心模型稳定性不足，基线保障起夜次数、数据产出延迟较多n模型健壮性不足，业务变化对模型冲击大，导致业务支持效率有较大挑战n数据成本逐年保存较高增长比例中间层表数:值班周均起夜天数:3.5S表访问次数:数据成本年增长比例:50

4、%问题分析|公共层覆盖不足数据建设过度依赖需求驱动,缺乏业务数据建设的整体规划和思考。核心模型复用性不足前期对业务的深入了解或考虑不周，导致后续无法满足业务需求，只能新建模型或者下游直接依赖S层。核心模型稳定性不足模型对上游的依赖太深，跨bu、跨团队依赖较多，保障难度加大，混层引用较多。模型健壮性不足模型设计不合理，业务不断变化时，对模型的冲击较大需投入更多的人力。数据成本不断增长不合理的数据生命周期设置，不合理的模型设计以全量表作为主模型，过渡的模型设计。数据规范和易用性不足表和字段的命名规范执行不足；缺乏指标的统一管理；缺乏统一的数据大图，精品表识别推荐，下游找数难。以上问题的本质主要在数

5、据模型、数据规范管控落地上，所以线上模型管理和规范管控是我们的重点。|数仓规范化-模型管理整体目标总体建设目标 稳定性：完善我们数据产出时效和数据质量稳定性，以我们的值班起夜次数和基线破线率、数据质量工单主动发现率为目标。扩展性：提升模型变化的兼容性，让底层业务变动与上层需求变动对模型冲击最小化，以业务需求支持效率和降低核心模型表数量为目标。时效型：提升数据模型产出时效以及需求响应速度，以值班起夜次数和业务需求及时交付率为目标。易用性：降低下游使用门槛，复杂逻辑前置；通过冗余维度和事实表，公共计算逻辑下沉，明细与汇总共存等为业务提供灵活性，以数仓丰富度为目标。成本：避免烟囱式的重复建设以及优化

6、不合理任务消耗，节约计算、存储成本，以成本执行率为目标。末端模型线上化管理|数仓规范化-模型管理整体方案通过组织保障、制度流程体系的建设结合产品工具来实现数据模型线上化，同时构建模型评估体系和推送治理机制，促进模型不断优化和完善，达到模型线上管理目的。模型线上化组织保障制度流程产品工具架构师组织搭建模型管理责任到人数据模型规范数仓公共开发规范数仓各层开发规范数仓命名规范DataWorks智能数据建模产品审批流程模型评估打分(事中)推送治理(事后)模型评审(事前)数仓规范化-模型管理整体方案|正向建模新模型通过DataWorks智能建模平台完成模型线上设计、评审、发布，实现模型后续线上化管理。逆