阿里巴巴Spark实践与探索（21页）.pdf

1、 内存计算时代 封神(曹龙)阿里云技术专家 阿里巴巴Spark实践与探索 阿里巴巴Spark实践与探索 自我介绍 曹龙，花名封神 阿里云技术专家；专注在大数据领域，7年分布式引擎研发经验；先后研发上万台Hadoop、ODPS集群；先后负责阿里YARN、Spark及自主研发内存计算引擎；目前为广大公共云用户提供专业的Hadoop服务。提纲 数据处理技术 Spark介绍阿里Spark历程 Spark在云上Spark未来 数据处理技术 硬件、机房 分布式调度 分布式存储 分布式计算 作业管理、作业流 数据治理、作业生命周期 大数据产品 数据处理时间与数据量 ms s m h G T P Kylin

2、Impalakudu DB/MPP VS 分布式引擎 DB/MPP Hadoop引擎 引擎 硬件 小型机 Raid高端存储 普通PC机器 容错 重跑即可 需要容错 调度模型 线程 CPU/Memory衡量标准 QPS 吞吐Hadoop生态计算引擎 Batch BatchInteracHve BatchInteracHveMemoryNear-RealTimeStreamingFullStackMapReduce DAG：DirectAcyclicGraphsRDD：ResilientDistributedDatasetsCycllcDataflowsHybrid(Batch+Streaming

3、)InteracHveReal-TimeStreamingNaHveIteraHveProcessingFullStack1G 2G 3G 4G Hybrid(Batch+Streaming)InteracHveMemoryNear-RealTimeStreamingFullStackRDD：ResilientDistributedDatasets3.8G Spark1.0 Tungsten1.0(执行器)Scheduler(调度策略)RDD(物理执行计划)Catalyst(优化器)Dataframes SQL Streaming Mllib ETC Scala Java Python R S

4、park2.0 Tungsten2.0(执行器)Scheduler(调度策略)RDD(物理执行计划)Catalyst(优化器)Dataset(逻辑执行计划)Dataframes SQL Streaming Mllib ETC Scala Java Python R Spark 链路 SQL Selectsum(d.money),a.cityfromdealdjoinaddressaona.id=d.address_idandd.ds2015-08-09groupbya.city RDD Catalyst Task Scheduler Thread Tungsten 北京 北京 10000 上海

5、 9000 杭州 8000 Spark Core SimpleReuseJVMFullStackShufflePullBaseShuffleNeiyCacheMemory&DiskFailoverLineageCheckpointBroadcastTungstenOffHeapCache-awarecomputaHonShuffleCatalystCode-GenCBOETCSpark在阿里 10-12年 初步尝试 Spark10台左右，standalone模式 SparkMllib机器学习12-14年 SparkonYarn100-400台规模SparkMllib、SparkStreamin

6、g、SparkGraphx14年 Moye内存计算15-nowE-MapReduceforSpark对公共云提供服务，主要是作业平台、运维平台SparkAllStack Spark弹性伸缩 Metadata Thrimserver SparkexecutorBeelineuser1./beeline-ujdbc:hive2:/localhost:10000spark.dynamicAllocaHon.minExecutors=1spark.dynamicAllocaHon.maxExecutors=100 Beel