基于 Apache Spark的大规模分布式机器学习实践（26页）.pdf

1、Zhichao LiSenior Software Development Engineer,Intel Corporation基于 Apache*Spark*的大规模分布式机器学习实践法律声明英特尔技术特性和优势取决于系统配置，并可能需要支持的硬件、软件或服务得以激活。产品性能会基于系统配置有所变化。没有计算机系统是绝对安全的。更多信息，请见，或从原始设备制造商或零售商处获得更多信息。在特定系统中对组件性能进行特定测试。硬件、软件或配置的任何差异都可能影响实际性能。请进行多方咨询，以评估您考虑购买的系统或组件的性能。关于性能及基准数据的更完整的信息，敬请登陆：http:/ SYSmark 和

2、 MobileMark 等测试均系基于特定计算机系统、硬件、软件、操作系统及功能，上述任何要素的变动都有可能导致测试结果的变化。请参考其它信息及性能测试（包括结合其它产品使用时的运行性能）以对目标产品进行全面评估。更多信息请访问 http:/ SEC 报告中包含关于可能影响英特尔结果和计划的因素的详细讨论，包括有关 10-K 报表的年度报告。所有涉及的所有产品、计算机系统、日期和数字信息均为依据当前期望得出的初步结果，可能随时更改，恕不另行通知。所述产品可能包含设计缺陷或错误（已在勘误表中注明），这可能会使产品偏离已经发布的技术规范。英特尔提供最新的勘误表备索。英特尔不对本文中引用的第三方基准

3、数据或网站承担任何控制或审计的责任。您需要访问参考网站以确认所引用数据是否准确。英特尔、英特尔标识、Intel.Experience Whats Inside 标识是英特尔公司在美国和/或其他国家的商标。*其他的名称和品牌可能是其他所有者的资产。2016英特尔公司版权所有。所有权保留。3Content Project Overview Distributed ML on Spark-Fraud Detection:End-to-End Solution for Top Payments Company-Large-scale,Sparse Logistic Regression for Cli

4、ck-through and Purchase Rate Predictions-Deep(Convolutional)neural network Infrastructure support for distributed ML-Parameter server4 Research and open source project initiated by UC Berkeley AMPLab Intel is closely collaborating with AMPLab and the community on open source development-One of the e

5、arliest adopters of Spark*(since 2012)Many key contributions(Netty shuffle,FairScheduler,“yarn-client”mode,)-Collaborating on other components in BDAS(e.g.,Tachyon*,SparkR,)Intel is partnering with many“web-scale”companies-Free!No commercial solution or Consultations-Online-LDA,Word2Vec(Merged)-Spar

6、seML(Separated package)-E.g.,Tencent,PayPal*,Alibaba*,Baidu*/iQiyi,JD.com,Youku*,etc.Project OverviewBDAS:Berkeley Data Analytics Stack(Ref:https:/amplab.cs.berkeley.edu/software/)SparkStreamingSpark CoreSampleCleanG-OLABlinkDBSparkSQLVelox*SparkRGraphXSplashMLBaseMLlibMLPipelinesMesos*Hadoop*YarnHD