2018年支持大数据分析的分布式机器学习系统设计.pdf

1、支持大数据分析的分布式机器学习系统设计北京大学 崔斌北京大学-腾讯协同创新实验室汇报内容 问题背景 相关工作 系统设计 总结机器学习机器学习成为挖掘数据价值的主要技术 广告推荐 文本挖掘 视频、图像、语音识别 金融、风险管理 个性化医疗 智能城市挑战 大数据：训练样本数据量超过单机处理能力 大模型：数据稀疏，模型维度与数据维度在一个量级应用案例：腾讯精准广告推荐大数据对广告推荐的挑战千亿级 复杂的用户关系链百亿级 每天推荐请求量千万级 每秒实时预测的广告数量手机QQ 广告微信广告月活超过10亿活跃账户7.8亿日活1.5亿百万广告位百万级标签精准广告推荐 基本特征（Raw Feature）基本属

2、性 商业兴趣 用户关系链 消费力用户特征 广告主 广告创意，关键词 公司，品牌，价格广告特征 大小，可见度 形式（视频 or 图片）PC，笔记本，手机，App上下文特征超大模型高维度稀疏大数据集特征组合高层特征（High-Level Feature）大数据对广告推荐的挑战超大模型特征One-Hot化特征组合(intersection)亿级特征维度典型算法：召回粗排精排CFMFLRGBDTFMFNN分布式机器学习分布式机器学习机器学习分布式系统模型并行策略调度容错掉队者局部性网络训练准确率 分布式机器学习=算法设计+系统设计分布式机器学习关键技术：分布式机器学习关键技术：并行策略、同步协议、网络

3、传输、系统优化 在ACM SIGMOD、VLDB等国际顶级会议期刊发表论文十余篇分布式机器学习是一个将机器学习技术和分布式系统融合起来，对互联网级规模的大数据和超大规模模型进行分析的有效方法。丰富的机器学习及数学计算库友好的用户编程接口工业级别可用的参数服务器开始设计、研发 2014投入生产 2016正式开源 V1.0.0 2017Angel-分布式机器学习平台Angel 主要面向分布式机器学习任务，采用参数服务器架构，支持数据并行及模型并行的计算模式，对多种算法进行深度优化，能支持十亿级别维度的模型训练。Angel具有如下六个良好的特性：n扩展性：可扩展的参数服务器架构，支持十亿维度的模型参

4、数n易用性：灵活丰富的接口设计、拖拽式的一体化开发运营门户n可靠性：具有快速的容错机制n高效性：基于Angel实现的多种算法相比于其它系统具有更优的性能n平台性：提供PS-Service能力，为Spark提供参数服务器能力，将支持图计算与深度学习n兼容性：支持Hadoop生态，采用Java和Scala开发，将提供Python等接口相关研究分布式机器学习系统数据流系统图计算系统深度学习系统Hadoop MahoutSpark MLlibGraphLab/PowerGraphGraphXTuX2 TensorFlowMXNetCaffe2PaddlePaddleExecutorDriverMode

5、lExecutorExecutorExecutorExecutorExecutorDriverModelExecutorExecutorExecutorSpark机器学习的瓶颈 DriverDriver成为成为参数汇总的单点瓶颈，参数汇总的单点瓶颈，难以支撑大规模模型及数据难以支撑大规模模型及数据 十十亿级维度的模型训练，实际应用中降维处理亿级维度的模型训练，实际应用中降维处理 ExecutorExecutor之间相互等待，整体效率不高之间相互等待，整体效率不高利用数据流算子并行化机器学习算法，分类，聚类，推荐，降维处理，特征处理，优化算法现有系统对比数据流系统适合通用性大数据处理，不适合大规

6、模机器学习算法具备频繁的资源管理开销单点瓶颈，缺乏参数共享无法处理超大模型图计算系统适合能抽象成稀疏图结构的算法可扩展性受到图结构的限制深度学习系统主要场景是深度学习等计算密集型应用（GPU、TPU）在大数据集处理等IO密集应用上没有优势对稀疏数据的处理性能不高没有自动数据处理普通机器学习算法支持不足Angel：分布式机器学习的共性在于迭代过程中参数共享Angel利用参数服务器架构提供强大的参数共享服务，能够整合多类机器学习系统系统设计Angel系统架构n Client提供控制任务运行，启动和停止任务，加载和存储模型等功能n Master提供数据和参数矩阵的分片和分发，资源申请，管理和监控任务