【联通】存算分离架构在联通的演进.pdf

1、存算分离架构在联通的演进张策|Alluxio PMC Member&联通数据程师 张策 联通软件研究院数据程师 Alluxio PMC Member Presto Contributor 开源数据爱好者个简介录 存算分离架构的诞背景 存算分离 x 降本增效 Alluxio x 存算分离的新进展存算分离架构的诞背景数据架构为何向存算分离演进，Alluxio在其中扮演怎样的PART 1业务快速增伴随着资源碎化第年平台 新增业务其他模块 新增业务其他模块 新增业务新建机房A第年平台其他模块其他模块机房A平台 新增业务其他模块 新增业务其他模块 新增业务新建机房B 业务快速增，逐年倍增 资源申请周期，

2、难以预估 集群呈碎化趋势存算分离架构的诞背景存算分离架构的诞背景数据加与数据使分离 协作式：ETL集群负责加通数据模型，业务集群基于ETL集群下发的通数据执个性化分析处理 痛点1：数据同步后的稽核作分繁琐，为保障数据致性投过多资源 痛点2：使Spark传输数据缺乏对带宽的直观控制 痛点3：数据传输任务占Yarn队列资源ETL集群Hadoop通表Hive业务集群A数据 下发业务集群B本地表Hadoop通表Hive存算分离架构的诞背景 数据管理复杂度随集群数的增加显著提升 数据同步后的稽核作分繁琐，为保障数据致性投过多资源 Spark缺乏对带宽的直观控制，依靠Task Metrics与Task并度

3、管控 数据传输任务占Yarn队列资源，影响数据加作业并度基于Spark/MR同步数据带来的挑战ETL集群数据 下发Hadoop数据表HiveYarnDistCPHadoop存算分离架构的诞背景 统命名空间 数据产者与数据消费者使同个UFS，需在多个UFS间保持数据致 持多种元数据同步策略，效保障数据致性 数据/元数据缓存 缓存热点数据提升计算性能，避免频繁访问远程数据占络资源 多种跨集群数据管理功能 指定带宽加载数据、跨集群复制数据、缓存命周期管理、etc.Alluxio如何简化存算分离架构ETL集群Alluxio通表Hive业务集群A业务集群B本地表通表HiveHDFSmount hdfsm

4、ount hdfs存算分离 x 降本增效巧妙应存算分离架构实现降本增效PART 2存算分离 x 降本增效利其他业务资源满计算扩容需求 元数据&数据缓存其他业务集群元数据&数据缓存平台集群HDFS存算分离 x 降本增效利其他业务资源满计算扩容需求 alluxio:/Path2Path1hdfs:/Path2Path1本地Alluxio本地HDFSmountalluxio:/Path2Path1远程Alluxiomount存算分离 x 降本增效利其他业务资源满计算扩容需求 Distributed Storage(ie.HDFS)Alluxio Standby MasterDistributed Q

5、uorum(Zookeeper)Alluxio MasterAlluxio Standby MasterAlluxio Standby MasterAlluxio MasterRAFT 基于RocksDB+Raft HA解决没有本地HDFS时Alluxio HA元数据操作性能问题 远程Alluxio使磁盘作为存储介质，容纳ETL的全部过程数据 Spark中间表只写Alluxio缓存，最终结果持久化集群 跨集群部署Dolphin Scheduler Worker，使原DS管理UI统提交Spark任务存算分离 x 降本增效利其他业务资源满计算扩容需求Fuse Alluxio 分布式件系统Spark

6、 SQLDatadf.write.parquet(”/Data”)Alluxio Fuse本地映射挂载映射 户通过Alluxio Fuse将分布式件映射为本地件，户读写本地件的逻辑需变更 Alluxio Fuse持嵌Worker及独进程服务两种模式，适于性能场景及灵活部署场景 户基于Alluxio Fuse独进程模式临时借外部资源完成AI计算存算分离 x 降本增效利其他业务资源满计算扩容需求Presto 平台集群HDFSAlluxioIceberg Hadoop TableHive TableSDS借集群AHivemount hiveIceberg Hadoop Table（持久化）mount