吴文超-基于Paimon的数据湖技术在Shopee的应用.pdf

1、演讲：吴超 数据程师基于Paimon的数据湖技术在Shopee的应DataFunSummit 2025Paimon使场景概览Summary of Paimon Usage01准实时数仓搭建Near Real-Time Data Warehouse Construction02ODS层升级加速ODS Layer Upgrade Acceleration03 录CONTENTSDataFunSummit 2025未来规划Work Plan For Future04Paimon使场景概览Summary of Paimon Usage01Paimon使场景概览123基于Paimon和StarRocks

2、构建准实时数仓准实时数仓基于Paimon Partial Update合并引擎优化替换双流JoinPartial Update应基于Paimon的切功能升级加速已有数据链路的ODS层ODS层升级加速准实时数仓搭建Near Real-Time Data Warehouse Construction02准实时数仓-任务诊断系统基于Paimon搭建任务诊断准实时链路时效性：以上链路的flink作业checkpoint interval均为1分钟，端到端延迟5分钟。准实时数仓-任务诊断系统1.消费Kafka创建DWB表 将所有任务的metrics数据汇报到Kafka，使Flink消费Kafka数据关联

3、lookup join Paimon表组装数据写。同个Application的指标常多，且不同Application指标类型也不尽相同，因此我们需要将同个Application的数据压缩到条写成张宽表。使Paimon的Aggregation Merge Engine，配置metrics的聚合类型为nested_update，就可以实现下的打宽操作。app idmetric namemetric value1Ax1By2Czapp idmetrics1(A,x),(B,y)2(C,z)基于Paimon搭建任务诊断准实时链路准实时数仓-任务诊断系统基于Paimon搭建任务诊断准实时链路2.消费DW

4、B Changelog构建DWS表 DWS层我们需要将作业的指标展开，并做些特殊的处理和聚合。因此，DWS的Paimon表使Partial Update Merge Engine，保留条数据每个字段的空最新数值。为了让下游的作业能消费到完整的changelog，所以DWS层也是配置的Full-Compaction changelog-producer。准实时数仓-任务诊断系统基于Paimon搭建任务诊断准实时链路3.消费DWS Changelog构建ADS表 在ADS层，需要将DWS每个Application的metrics指标提取出来，根据我们为指标设置的不同属性，如延迟，GC，Vcore使

5、，背压等维度，计算出这些维度的健康分，然后将数据导到Hbase，让业务系统可以直接查询结果。准实时数仓-对账系统基于Paimon+StarRocks搭建准实时数仓业务现状 业务原有的数据链路利Flink按需开发对账指标，将dws表写MySQL供对账平台查询。该案虽然能保证数据的实时性和查询速度，但有以下两个问题：1.烟囱式开发，存在量重复功能和代码 2.没有数据资产积累，不能灵活计算各种指标 因此业务开始尝试，将业务明细数据实时写Paimon数据湖，Flink任务构建Paimon宽表积累数仓，利StarRocks查询引擎直接查询Paimon宽表，为对账平台提供即时的对账结果。准实时数仓-对账系

6、统数据链路分为以下个关键步骤：1.实时消费 Kafka 的 binlog 数据，清洗后写 Paimon ODS 表。2.通过 Flink 流任务处理 ODS 表中的增量数据，进表关联写构建DWM层。3.通过 Flink 批任务检查历史数据，确保数据的完整性和准确性。4.使 StarRocks 查询 Paimon 表，提供实时对账结果。基于Paimon+StarRocks搭建准实时数仓准实时数仓-对账系统效果：流批体：能够在处理实时数据流的同时，也可以效地处理历史数据。时效性：端到端数据延迟约为30分钟，StarRocks查询时间在秒级。基于Paimon+