微博在线机器学习平台的K8S实践（25页）.pdf

1、微博在线机器学习平台的Kubernetes实践袁定平新浪微博工程师Dingping YUANContents01目录微博02机器学习平台03深度学习04在线学习WeiboMachine Learning PlatformDeep LearningOnline Learning微博AI业务及趋势01WeiboAI business and trend微博/用户规模2019Q2财报月活用户4.864.86亿亿日活用户2.112.11亿亿2019 Q2 Financial ReportsMAUDAU486M211MWeibo/DAU微博/业务生态关注/兴趣分发/推荐生产/传播优质内容普通用户优质用户

2、潜力挖掘关系拓展内容理解兴趣挖掘内容生产内容组织AIAIWeibo/business eco微博/AI场景 多媒体内容理解智能裁剪视频盗链检测音频分类明星识别视频Logo图片OCRWeibo/AI scene Multi-media Content UnderstandSmart cropCheating link detectionAudio classificationStar recognitionVideo LogoImage OCR微博/AI场景 CTR任务关注排序热门推荐相关推荐Weibo/AI Scene CTRFeedHot WeiboRecommend平台化 业务场景多,需求

3、高度重复 业务迭代速度慢，资源与成本有限深度化 图片与视频类内容增长迅速 特征工程成本比较高实时化 用户短期兴趣不断变化 模型迭代速度慢，不能拟合实时分布微博/AI发展趋势Weibo/AI TrendPlatformDeepOnlineDuplicate sceneFast iterationImage and Video contentFeature engineeringUser short interest varietyModel iteration slower than real time distribution机器学习平台机器学习工作流02Machine Learning Pl

4、atformMachine learning workflow模型部署模型预测原始数据特征处理模型预测样本生成模型训练特征处理模型训练数据传输模型评估业务评估K8S应用环节微博/机器学习工作流Weibo/Machine Learning workflow微博/机器学习平台存储计算数据/特征(WeiData)调度集群关注流Kubernetesdockeryarn业务应用tensorflow/caffespark/hadoop数据仓库集群实时计算集群阿里云计算集群storm/flink数据/特征服务推荐流文本分类/检测图像/视频分类.机器学习平台内容生产一站式服务平台，加快业务开发速度，缩减业务迭

5、代周期业务无须关注底层工程细节和资源分配，专注于算法和效果调优高性能GPU集群HDFS/ODPSPS/weips数据/特征生成数据/特征库算法/模型(WeiFlow)模型服务模型训练/评估模型库推荐引擎样本生成样本库基础/IDE(WeiIDE)开发套件控制台控制中心深度学习在线学习Weibo/Machine Learning PlatformOne stop service，speedup business iteration timeFocus on algorithm and business results深度学习深度学习框架 weilearn vs arena03Deep Learni

6、ngDeep learning framework weilearn vs arena深度学习训练框架-weilearn样本库样本库训练框架训练框架调度计算调度计算模型库模型库CTR样本自然语言样本视频与图像样本样本处理CTR业务NLP图片视频VGGYoloinceptionresnetGRU LSTMWide&DeepDeepFMDeep Cross NetworkSpark超参数资源算法配置Arena/K8SArena/K8SYARNDNNRNNCNNCTRNLP图像业务视频业务语音业务 任务配置化，降低业务接入成本统一资源调度，提高任务效率与稳定性，降低平台管理成本Deep learni