3_移动云_x_StarRocks：构建下一代云原生数仓.pdf

1、移动云 x StarRocks：构建下一代云原生数仓陶捷移动云 数据库技术专家01020304移动云分析型数据库发展历程海山数仓的架构和理念海山数仓的核心技术及演进趋势移动云的实践与未来展望01移动云分析型数据库发展历程移动云数据库的发展历程移动云数据库团队十年前正式诞生，以实现数据库核心技术自主可控为目标，目前已构建完整产品和市场体系，并移动云数据库团队十年前正式诞生，以实现数据库核心技术自主可控为目标，目前已构建完整产品和市场体系，并实现大规模商用。实现大规模商用。20142014基于开源启动商业版产品打造集团内部推广和应用苏州研发中心苏州研发中心20202020启动云改，转型云计算服务商

2、海山数据库1.0发布云能力中心云能力中心20242024云原生进阶，发布海山数据库2.0启动算力网络数据库探索和研究规模200+人内核研发70+人研发团队15+3115+31全国资源覆盖3030万万 vcore资源规模资源规模10+10+中移专业公司9 9大大重点行业突破市场推广市场推广由云向算，云原生数据库四级进化AuroraAurora ServerlessServerless20182018开源托管开源托管AuroraAuroraLog is Database2 200009 920142014无资源预占、全球分布、任务式服务资源预占、计算存储分别扩展资源预占、计算存储体扩展无资源预占、

3、水平和垂直扩展从云计算到算力网络从云计算到算力网络云原生数据库的进化方向：更更深层次的解耦、更灵活的感知调度深层次的解耦、更灵活的感知调度我们我们 认为数据库的下一阶认为数据库的下一阶段段:L3 ServerlessL3 ServerlessL2 L2 存算分离存算分离L1 L1 容器化部署容器化部署移动云数据库布局移动云一站式云原生数据库服务数据库生态工具数据库生态工具数据库传输数据库管理数据库自治事务型数据库事务型数据库海山数据库MySQL海山数据库PG海山数据库分布式RDS MySQL分析检索分析检索OLAPOLAP海山数仓搜索数据库向量数据库NoSQLNoSQL缓存数据库文档数据库多模

4、数据库L3L2L1L1L2L1L1L1L1L1算力网络数据库L4数据库统一云平台底座数据库统一云平台底座移动云基于K8s构建云原生数据库底座，全线产品达云原生L1级自研海山数据库系列，采用存算分离架构，并全面向Serverless演进在中国移动算力网络战略下，大力探索算力网络数据库，积极推进相关技术以及行业标准制定24年9月发布中国移动算力网络数据库白皮书分析型数据库：从湖到仓第二代第二代:传统传统MPPMPP数据库数据库第三代：第三代：新架构实时数仓新架构实时数仓 第一代：第一代：单机分析型数据库单机分析型数据库第四代：第四代：云原生数仓云原生数仓上世纪90年代以Oracle、DB2为代表的

5、单机分析型数据库2000年代以Teradata、Greenplum、Vertica为代表的MPP架构数仓，具备支撑TB级别数据分析能力近十年来以Clickhouse、Doris为代表的新架构实时数仓，吸收开源大数据技术架构和能力，在分析实时性、支撑数据规模上有了显著提升近五年来以SnowFlake为代表的云原生数仓，强调与云的基础设施融合，云原生云原生、一体化一体化、湖仓融合湖仓融合是主要的发展趋势。BC-HadoopBC-RDB-HybridBC-HugeTableLakehouseEMR海山数仓移动云产品演进Oracle2000年Teradata2005年Vertica数仓2003年Gre

6、enplum2016年ClickHouse2017年 Apache Doris2021年DataBend2021年 Starrocks、Databricks DB2Netezza2014年SnowflakeFoxLake湖仓融合2008年Hadoop2020年湖仓一体2012年 Presto、Impala、Hawq、Druid2017年 Hudi 2018年 Iceberg2019年Delta Lake分析型数据库技术的发展的 四个阶段02海山数仓的架构和理念海山数仓的设计理念高性能高性能实时数仓引擎实时数仓引擎云原生云原生极致性价比极致性价比极简化极简化数据集成生态数据集成生态物化视图、向量