优雅的维度模型与多维分析设计实践.pdf

1、DataFunSummitDataFunSummit#20232023优雅的维度模型与多维分优雅的维度模型与多维分析设计实践析设计实践邱盛昌-OPPO-技术专家/数据团队主管个人介绍联系微信号：QiuChanson维度模型设计的必要性维度模型设计的必要性解决巨量的取数需求解决无穷无尽的报表需求常见的几种错误方向极致分区表的数据仓库架构极致分区表的数据仓库架构数据源处理ODS层处理CDM层处理ETL架构优雅的维度模型设计优雅的维度模型设计维表设计明细表汇总表万能的多维分析模型与报表万能的多维分析模型与报表Mysql与Clickhouse的区别多维报表模型多维分析报表目录目录 CONTENTCON

2、TENTDataFunSummitDataFunSummit#202320230101维度模型设计的必要性维度模型设计的必要性解决巨量的取数需求产生巨量需求的本质：数据建设缺失或者建设方向错误，导致大量用数诉求无法满足解决无穷无尽的报表需求导致无穷无尽的报表需求原因：通用数据模型设计缺失，面向需求开发无抽象首先满足取数需求，才是报表需求常用的数据才能被做成报表更直观的指标组合与图形可视化更方便的报表分析功能（如下钻）常见的几种错误方向常见错误方向总结完全的面向需求开发完全的面向需求开发，需求要什么字段就做什么，一个需求一张RPT表，到处打听到表就直接取用，逻辑都堆在RPT层没有模型表，或者模型

3、抽象不好没有模型表，或者模型抽象不好，具体表现为：不了解建模知识，SQL/Java能实现就行；对建模有些了解，有中间表但通用性较差，没有系统性的全局建模没有没有OLAPOLAP建设概念建设概念，表拆得又多又散，进入无穷迭代陷阱，如：一个事件做一张事实表埋点的埋点的“挖矿石挖矿石”行为行为，只抽取这个需求要的字段，只做现在要的埋点事件，持续按需求“挖矿”好几年DataFunSummitDataFunSummit#202320230202极致分区表的数据仓库架构极致分区表的数据仓库架构数据源处理埋点元数据：事件元数据先开发好事件元数据，用于指导主题域划分，模型表的分表和分区等事件分类事件分类IDI

4、D事件分类名称事件分类名称事件事件IDID事件名称事件名称事件描述事件描述上报数据量上报数据量重要程序重要程序负责人负责人1曝光1_1应用曝光下载的应用曝光1200张三1曝光1_2图片曝光广告图片曝光980张三2下载2_1列表页下载在列表页点击下载按钮98李四2下载2_2详情页下载在详情页点击下载按钮71李四3启动3_1主屏幕启动在桌面启动应用550王五数据源处理埋点元数据：字段元数据字段元数据，用于指导物理表落地建设、字段清洗转换规则等事件事件IDID事件名称事件名称字段英文名字段英文名字段中文名字段中文名字段描述字段描述公共描述公共描述上报数据量上报数据量重要程序重要程序负责人负责人1_1

5、应用曝光enter_id从哪个入口带来的曝光.从哪个入口带来的曝光|启动入口1200张三1_2图片曝光app_id应用ID.应用ID980张三2_1列表页下载app_id应用ID.应用ID98李四2_2详情页下载user_id用户标识.用户标识71李四3_1主屏幕启动enter_id启动入口.从哪个入口带来的曝光|启动入口50王五数据源处理埋点元数据：枚举元数据枚举元数据，用于指导码值翻译注释，监控、字段清洗转换规则等枚举标识枚举标识枚举标识名称枚举标识名称枚举码枚举码枚举值枚举值上报数据量上报数据量重要程序重要程序app_cat应用分类1视频播放120app_cat应用分类2网上购物110a

6、pp_cat应用分类3社交通讯100from渠道来源101头条98from渠道来源102阿里90数据源处理补录数据数据仓库建设中，肯定会有许多的补录数据，必须一开始就约束需求人通过系统录入通过系统录入，补录系统提供增删改功能，并实现自动导入大数据平台，切记不可工程师手工导入不可工程师手工导入这样处理补录数据的原因减少沟通成本，提高导入效率，提高工程师的幸福感保证导入数据的质量，需求人可自助迭代，并可以设置定期提醒补录ODS层处理开发原则缓存层只保留8天数据，只可以被一个被一个ODSODS表引用表引用ODS层不可以当作缓存数据使用，直接抽取数据就到ODS多在在ODSODS做做joinjoin表表