中通快递基于 SelectDB 实时数仓的应用实践 - 童孝天 中通快递.pdf

1、中中通通快快递递基基于于 S Se el le ec ct tD DB B 的的应应用用实实践践童童孝孝天天 高高级级研研发发工工程程师师Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024目目录录背背景景介介绍绍0 01 1应应用用实实践践0 02 2对

2、对比比测测试试0 03 3未未来来展展望望0 04 4Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 20240 01 1背背景景介介绍绍Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia

3、 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024 中通快递股份有限公司成立于2002年5月8日，总部位于上海，是一家集快递、物流及其他业务于一体的大型集团公司，中通快递的包裹量在2024年第三季度达到了87.2亿件，同比增长15.9%，市场份额为20.0%左右。中通科技是中通快递旗下的互联网物流科技平台，拥有一支千余人规模的研发团队，秉承着“互联网+物流”的理念，与公司的

4、战略、业务紧密的衔接，为中通生态圈的业务打造全场景全链路的数字化平台服务。简简介介公公司司简简介介Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 20240 03 3应应用用实实践践Doris Summit Asia 2024Doris Summit Asia

5、 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024选选型型背背景景离线数据仓库使用离线抽取的方案，数据时效性为 T+1，而报表、数据大盘要求数据实时更新，当前架构无法满足数数据据时时效效不不足足BI报表/离线分析需满足秒级别查询响应，离线数据仓库执行引擎主要是 Trino 及 SparkSQL，需读取和写入 HDFS 中的数据，执

6、行时长一般为分钟级别，影响查询效率查查询询效效率率低低 随着业务的不断发展，之前双十一的业务量到现在已成为每日的常态。为了满足各大业务场景对实时分析时效性的要求，同时保证数据快速写入和极速查询，需要一个合适的 OLAP 引擎补充原有的离线数仓架构体系，痛点具体如下：整个技术栈涉及组件繁多，包括 Trino/HDFS/Yarn/HBase，之前线上也有一些实时场景使用 ClickHouse，但是维护较为复杂，且有些场景需求也无法满足维维护护成成本本高高Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris S