2019年一站式机器学习平台建设.pdf

1、一站式机器学习平台建设内容大纲配送业务介绍配送业务介绍 即时配送 业务规模A机器学习在配送中的应用机器学习在配送中的应用 Why机器学习 应用场景B美团配送机器学习平台美团配送机器学习平台 演进过程 离线训练平台 模型管理平台 离线/实时特征平台 AB实验平台C美团配送-超大规模即时配送网络美团配送-全球规模最大的外卖配送平台商户骑手用户配送平台单日订单量突破3000万2019Q2 订单量21亿笔日均活跃骑手数大几十万内容大纲配送业务介绍配送业务介绍 即时配送 业务规模A机器学习在配送中的应用机器学习在配送中的应用 Why机器学习 应用场景B美团配送机器学习平台美团配送机器学习平台 演进过程

2、离线训练平台 模型管理平台 离线/实时特征平台 AB实验平台CWhy 机器学习机器学习在配送中的应用效率体验成本时间估计时间估计 全链路时间估计 时间与效率体验平衡定价系统定价系统 骑手邮资、补贴 供需关系LBS系统系统 骑行轨迹挖掘 骑行路径规划调度系统调度系统 订单指派 效率最大化规划系统规划系统 配送区域规划 商家范围规划多传感器融合多传感器融合 WIFI、蓝牙、加速器、陀螺仪、气压计 地理围栏、室内定位、运动状态识别内容大纲配送业务介绍配送业务介绍 即时配送 业务规模A机器学习在配送中的应用机器学习在配送中的应用 Why机器学习 应用场景B美团配送机器学习平台美团配送机器学习平台 演进

3、过程 离线训练平台 模型管理平台 离线/实时特征平台 AB实验平台C1、美团配送机器学习平台演进过程演进过程-MVP阶段迭代效率低下算法之间难以协同演进过程-平台化阶段（图灵平台）Hadoop/YarnSparkMLXGBoostTensorFlow离线训练平台实时特征平台AB实验平台模型管理平台版本管理平台统一模型训练和资源分配，避免重复轮子统一的特征平台，保证特征口径一致离线特征平台AB实验平台，确保实验效果科学公正目标-一站式服务离线离线在线在线Hive日志实时日志数据处理特征库模型EndPoint部署OnlineServing统一埋点在线策略数据处理训练数据集模型训练模型评估特征库获取

4、数据获取数据模型训练模型训练模型评估模型评估模型发布模型发布&在线预测在线预测效果评估特征生产特征生产采样过滤归一化标准化模型训练模型训练分类回归聚类深度学习模型评估模型评估AUCMSE/MAEF1模型部署模型部署一键部署本地模式远程模式分区模型在线预测在线预测AB实验灰度发布统一埋点效果分析2、离线训练平台离线训练平台离线训练平台模型管理平台模型注册线上服务动态模型选择实时特征离线特征上下文特征预处理模型训练模型评估MLDL模型管理在线策略分流自动获取特征自动获取特征预处理模型调用预处理模型调用自动埋点部署节点状态模型发布MLDL打通离线训练和在线预测，贯穿整个机器学习平台线下训练线上服务输

5、出结果输入请求目标：搭建可视化训练平台，屏蔽多个训练框架的差异，降低算法RD的接入门槛离线训练平台-可视化离线训练平台-可视化模型一键发布模型特征映射，在线预测模型自动获取特征3、模型管理平台模型管理平台模型管理平台模型管理平台训练平台SparkMLTensorFlowXGBoost模型调度器模型状态机指令中枢资源路由HDFSMetaStoreMySQL业务服务A(节点1)ModelAgent模型数据预测模块业务服务A(节点2)ModelAgent模型数据预测模块业务服务A(节点3)ModelAgent模型数据预测模块ModelServer(节点1)ModelAgent模型数据预测执行Mode

6、lServer(节点2)ModelAgent模型数据预测执行ModelServer(节点3)ModelAgent模型数据预测执行业务服务B(节点1)ModelAgent模型数据预测Facade业务服务B(节点2)ModelAgent模型数据预测Facade业务服务B(节点3)ModelAgent模型数据预测Facade本地模式远程模式模型管理平台-本地计算VS分布式计算本地模式远程模式占用业务服务器资源本地计算性能高无额外网络开销适合单节点集中存放的小模型高度并行化异构计算资源(GPU+CPU)额外网络开销适合分片