李哲 - 腾讯云流式湖仓统一存储实践.pdf

1、腾讯云流式湖仓统一存储实践腾讯云流式湖仓统一存储实践演讲嘉宾：李哲1 1流计算流计算OceanusOceanus介绍介绍2 2腾讯云流式湖仓架构腾讯云流式湖仓架构3 3腾讯云流式湖仓实践腾讯云流式湖仓实践4 4腾讯云流式湖仓发展规划腾讯云流式湖仓发展规划流计算流计算OceanusOceanus介绍介绍01OceanusOceanus，抓住数据转瞬即逝的价值，抓住数据转瞬即逝的价值。实时计算平台，适用于对时效性要求高的实时计算场景，如实时报表、实时推荐、实时数仓等。近年来，随着数字化的加速发展，企业对数据的实时处理和分析需求日益迫切。从电商平台的个性化推荐，到金融机构的实时风控，再到工业企业的设

2、备预测性维护，实时数据已经成为驱动业务创新、提升竞争力的核心要素。然而，传统的批处理方式往往存在时效性差、数据孤岛、难以扩展时效性差、数据孤岛、难以扩展等问题，无法满足现代企业对实时洞察的迫切需求。业务痛点和挑战业务痛点和挑战流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。您可以使用“流计算 Oceanus”实现各种实时场景，如实时推荐、实时风控、实时数仓、实时大屏等。

3、流计算流计算 Oceanus Oceanus 产品概述产品概述产品概述产品概述腾讯云流式湖仓架构腾讯云流式湖仓架构02基于基于 IcebergIceberg 的湖仓一体方案的湖仓一体方案IcebergFlinkFlink实时写实时写SparkSpark批写入批写入业务数据业务数据FlinkFlinkV1V2SparkSparkDorisDorisSRSRPrestoPresto在离线分析的场景下，以Iceberg为核心的湖仓链路具有系统稳定，生态良好的特点，得到了广泛的运用。成本高成本高灵活性低灵活性低UpdateUpdate场景支持不足场景支持不足湖仓场景现状和挑战湖仓场景现状和挑战传统的传

4、统的LambdaLambda架构的不足架构的不足Data SourceData SourceODSODSDWDDWDDWSDWSKafkaKafkaKafkaKafkaKafkaKafkaStreaming LayerStreaming LayerStateStateStateStateBatch LayerBatch LayerServing LayerServing Layer客户端客户端流式湖仓方案发展流式湖仓方案发展 社区原生社区原生IcebergIceberg UpsertUpsert 表方案表方案方案架构方案架构无序数据文件元数据Data 文件Delete文件数据通过Upsert表

5、写入，产生无序的数据文件l 基于eq-delete的数据合并机制，在upsert的场景下存在较大的合并开销，无法满足数据量与扩展性的需求。l 不支持部分列更新、点查等场景，无法支持维表 Join、State性能优化等需求。l 无法产生binlog，不支持流写流读的场景。问题问题数据按LSM Tree组织，数据排序后写入，并在compaction时生成日志文件；引入额外的腾讯云流式湖仓元数据来描述LSM Tree结构与LOG文件。优势：优势：l 可以产生完整的binlog。l LSM Tree 适合合并，减小文件合并的开销。l 支持部分列更新、点查，为流式计算场景提供支持。方案优势方案优势流式湖

6、仓方案发展流式湖仓方案发展 腾讯云流式湖仓腾讯云流式湖仓方案架构方案架构Parquet(2).ng腾讯云流式湖仓元数据原生Iceberg元数据Data 文件Log 文件有序有序数据文件湖仓场景架构和介绍湖仓场景架构和介绍腾讯云流式湖仓腾讯云流式湖仓解决方案解决方案l 右图是腾讯自研的基于 Iceberg 生态的流式湖仓解决方案。它底层基于LSM Tree存储引擎进行文件的管理，从而可以高效的支持主键更新的场景。l 支持对单行数据的部分列进行更新，可以高效的实现实时表打宽等需求。l 在数据更新的过程中，可以产生反映数据变更的完整changlog记录，从而允许下游的Flink作业继续进行增量的处理