中信证券基于 SelectDB 的实时数仓平台构建 - 余子安 中信证券.pdf

1、基于 SelectDB 的实时数仓平台构建Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024目录基于 CDP 的旧实时数仓01面临的困难与挑战02基于 SelectDB 的解决方案03未来展望04Doris Summit Asia 2024Doris S

2、ummit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 202401基于 CDP 的旧实时数仓Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris

3、Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024 实时计算面对的数据是实时且流式的，数据按照时间发生顺序被实时计算程序订阅和消费实时数据 触发源为无界流式数据，一旦有新的流数据进入实时计算系统，它就立刻发起并进行一次计算任务，因此整个过程是持续进行的持续计算 流处理的计算结果可以同流式数据一样，持续的写入目的数据存储实时数据集成实时计算：持续、低时延、事件触发的计算作业Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit

4、 Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024维度批量计算实时计算处理对象有界的静态数据集无界的动态数据流处理时延高：小时到分钟级低：秒级到毫秒级吞吐量大中到小容错机制相对简单数据不变可以重复计算复杂中间状态需要保证一致性触发机制定时任务持续运行Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit A

5、sia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024系统部分大数据组件KuduFlinkHbaseElasticSearchKafkaYarnImpalaHiveSparkDoris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit

6、 Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 202402面临的困难与挑战Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asi