GPU 加速中国电信 Spark 大数据处理.pdf

1、#page#MHadoop到Spark用户程序（1）fork（1)fork（1）fork（21皖2Master分配分配mapreduceworker文件切片0（6）写入输出文件0worker文件初片1（5）远程读取（3）读取（4）本地写入文件切片2worker输出文件1worker文件切片3文件切片4worker中间文件输入文件输出文件Map阶段Reduce阶段（存储在本地磁盘上）参考资料：GoogleMapReduce白皮书#page#page#大数据处理在中国电信的使用广泛集团侧数据处理省端数据接入集团侧输出服务集团侧监测运营实时处理：FlumeFlinkKafkaAPI服务监控Strea

2、mingMysql模型预测任务监控离线处理：FTPAPI租户资源监控HiveAPI报表系统监控Spark采集任务监控调度及存储：yarnhdfsRedis#page#GPU + Spark 3（三个GPU相关的feature）Accelerator-aware task scheduling for Spark SPARK-24615Public APls for extended Columnar Processing Support SPARK-27396Support Stage level resource configuration and scheduling SPARK-2749

3、5#page#Spark3.0对GPU的支持开源项目：https:/ RAPIDS Accelerator for Apache Spark provides a set of plugins for ApacheSpark thatleverage GPUs to accelerate processingvia the RAPIDS libraries and UCX解读：GPU对Spark的加速服务，是作为一个Plugin提供的；，这个Plugin里面用到了另外两个开源项目：RAPIDSUCX#page#RAPIDS开源项目：https:/ GPU Data Sciencehtapids

4、aRAPIDS ECOSYSTEMApplicationsSWAPI/FEApplicationData Mining &DataEnterprise DataLayerGPU DatabaseGPUVsualizationPreparation PlatformScience PlatformDeep LearningRAPIDSFrameworksPython BindingLayerCuDFCUMLraphNNCIC+LayerCUDA-XCUDAPrmsHWVendorGPU ServersStorage Partners#page#RAPIDS- exampleRun testsIn

5、s为time10036128orint（data,x.shape）In6：n_samples=2In 7:stimeeps，mfn_samplPU timgs26.75，sys：724ms，tota1：27.45a11 time:26.8sIn8j第t金eIn 9=timeeps，mln_samples=mln_samples.fit（x）CPUtima7.625,5ys:100ms，total：7.725In iejum1.1abe1s）“OTequa1”）are dbscan：cunl vs sklearn labels8CMp#page#UCX另一个开源软件：https:/www.ope

6、nucx.org/UCX用来解决Sparkshuffle的性能问题Unified Communication X简洁的传输协议在终端间（TCPRDMA，SharedMemory，GPU）选择最优路径通过RDMA实现GPU显存传输时Zero-Copy支持RDMA需要的网络（IBorRoCE）#page#page#GPU上支持的操作randSinhdoubleinput_file_bloclocatenanvTimeSub forconkatucaseKlensttimerangeab301smallintCOSCnegativeupperinputfile_blocstartswith往Ksta