2017年人工智能工业应用痛点及解决思路.pdf

1、2017年 8月5日人工智能工业应用痛点及解决思路SAMPLE TEXTSAMPLE TEXTSAMPLE TEXTADD YOUR TEXT HERE YOU NEED,ADD YOUR TEXT HERE YOU NEED,ADD YOUR TEXT HERE YOU NEED.可扩展的机器学习系统可扩展的机器学习系统人工智能的兴盛是数据量变大、机器性能提升、并行计算发展的结果Scalable ML System Scalable ML System Scalable SystemScalable System数据处理的吞吐随着集群、机器数的增加而增加智能水平/体验的壁垒、随着业务/数据的

2、增长而增加什么是机器学习的可扩展性Scalable？工业大数据需要高工业大数据需要高VCVC维模型维模型VC维（Vapnik-Chervonenkis Dimension）又称VC理论；VC维反映了函数集的学习能力，VC维越大则模型或函数越复杂，学习能力就越强；模型一定要与待解决的问题相匹配，如果模型过于简单，而问题本身的复杂度很高，就无法得到预期的精度可扩展的机器学习系统可扩展的机器学习系统机器学习数据特征模型机器学习数据特征模型工业追求极高的VC维度如何沿着模型走？如何沿着模型走？学术界主导（ICML，NIPS，ICLR）非线性的三把宝剑：Kernel，Boosting，Neural Ne

3、twork 模型大部分单机可加载 解决数据分布式问题，以及降低系统overhead工业界针对应用定制模型 基于思考或者观测得到的假设 加入新的模型、结构，以加入更多参数 典型案例：伽利略如何沿着模型走？如何沿着模型走？工业界主导（KDD，WWW）模型相对简单粗暴 分布式，工程挑战大 高效并行并保证快速收敛 工业界中一般针对应用定制特征 为什么有那么多特征，怎么产生这些特征 如何理解这些特征 人工智能爱因斯坦没有免费的午餐定理：不存在万能模型没有免费的午餐定理：不存在万能模型“We show that all algorithms that search for an extremum of a

4、 cost function perform exactly the same,when averaged over all possible cost functions.In particular,if algorithm A outperforms algorithm B on some cost functions,then loosely speaking there must exist exactly as many other functions where B outperforms A”-by Wolpert and Macready(1995)in No Free Lun

5、ch Theorem所有的机器学习模型都是一个偏置更多的模型假设更少的数据更简单的模型假设更多的数据支持与特征刻画工业界机器学习中并没有免费的午餐，要做出对业务问题合适的选择工业界机器学习中并没有免费的午餐，要做出对业务问题合适的选择然然AIAI还远未普及还远未普及与与HadoopHadoop相比相比工业界应用机器学习的难题工业界应用机器学习的难题工业界应用机器学习的难题工业界应用机器学习的难题需要AI应用平台 Tenserflow，Mxnet，Caffe等工具日趋丰富 但是，足够了么？为什么人工智能还没有真的大规模应用到每个企业 Hadoop为什么用的人多？先驱知识要求太多 能做AI的还是研

6、究/应用机器学习科学家 核心机器学习算法平台只降低了一部分门槛 更大的应用基础：降门槛 算法效果如何解决特征工程如何解决特征工程特征工程在工业界是巨大的难关 什么是特征工程？现在的平台已经足够了吗？需要对机器学习与业务都非常理解 不同的算法，要使用不同的特征工程达到同一个目标以新闻推荐为例 一阶特征：每个用户直接喜欢什么 二阶特征：用户的扩展兴趣（喜欢大数据的人，可能对机器学习也感兴趣）不同模型如何添加？如何解决特征工程如何解决特征工程特征工程在工业界是巨大的难关 需要对机器学习与业务都非常理解 不同的算法，要使用不同的特征工程达到同一个目标如何解决特征