新一代云原生数据库分析型数据库架构设计和应用创新.pdf

1、新一代云原生分析型数据库架构设计和应用创新王小玉中国移动信息技术中心自 主 创 新 引 领大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会产品架构场景案例关键技术0 01 10 02 20 03 3目 录Contents大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委

2、员会第一部分 产品架构Chapter 01大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会中国移动大数据发展历程中国移动大数据资源禀赋全覆盖9.9亿+移动客户2.98亿+家庭宽带客户2430万+政企客户全方位通信支出社交上网位置时序身份终端全时空10亿+物联网卡5 5.5 5P PB B 日采集量2 22 2万万+每日作业数6 65 50 0+P PB B 累计高价值数据存储8 8.4 4万万+大数据节点挖掘建模数据探索BI/报

3、表OceanStor Pacific开放数据格式多协议融合NFS|SMB|S3|HDFS|STREAMS 挖掘建模数据探索BI/报表NFS|SMB|S3|HDFS|STREAMS 敏态业务稳态业务云化应用传统应用ETL数据仓库挖掘建模BI/报表分布式存储数据探索AI数据仓库挖掘建模BI/报表数据探索AI数据共享解决成本、扩展性问题解决数据孤岛、数据搬迁问题解决数据跨云协同、跨云管理问题数据湖存储统一存储底座分布式存储ETLAI结构化/半结构化/非结构化结构化/半构化结构化结构化结构化/非结构化结构化/半结构化/非结构化S3|HDFSS3|HDFS统一元数据授权|隐私HDFS|对象|文件|块HD

4、FS|对象|文件|块数据访问加速AI数据智能分级中国移动大数据平台演进统一存储，湖仓融合湖仓并存，存算分离湖仓并存，存算一体云原生数据湖底座，一湖多云大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会梧桐云原生分析型数据库梧桐云原生分析型数据库是中国移动信息技术中心基于 Greenplum 自主研发的分布式分析型数据库产品。具备云原生、高并发、高性能、多模检索等特性，可帮助企业用户快速构建支撑全域数据管理，实现全视角数据分析的云原

5、生数据仓库。基础设施X86海光鲲鹏飞腾元数据服务分布式事务系统表管理开放访问Hive对接高时延高并发大数据生态场景传统数仓实时数仓扩展性接口UDTUDO规则系统UDAFUDF接口层JDBCODBCSQL计算层火山执行器全文检索向量检索存储层定制化hudi orc原生hudi orc桶索引HMS接口hudi rest接口iceberg rest接口移动云华为云腾讯云阿里云BGWUDI数据科学数据立方体PG/GP生态PL/SQLPL/PythonPL/Javalibpgpsqlinformation_shema客户端辅助工具主键索引图检索物化视图空间计算向量执行器ste执行器bypass路径聚合模

6、型算子混编icebergHDFS外表在线DDL湖仓融合多模检索数据共享FDWSPIHTAP存储大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会技术架构基础设施层生态开放兼容性强国产操作系统国产芯片/服务器IaaSIaaS对象存储自研分布式存储数据格式（Row、Parquet、Text、CSV、ORC）数据存储层自主研发安全可控数据计算层VCVCVC架构领先性能卓越MasterMasterMaster负载均衡访问接入层云原生云中立