2017年普适智能和普适学习-智能革命和智能经济的引擎.pdf

1、普适智能和普适学习:智能革命和智能经济的引擎新加坡南洋理工大学电子电气工程学院 教授ProfessorSchool of Electrical Electronic Engineering,Nanyang Technological University,SingaporePervasive Intelligence and Pervasive Learning:Enabling Intelligent Revolution and Intelligent Economy微博： Approximation capability）Leshno 1993,Park and Sandberg1991

2、,Chen,et al 1995:任何连续目标函数可以用前馈神经网络以任意小的误差近似逼近。分类能力定理（Classification capability）Huang,et al 2000：任何理论上可以分开的目标都可以用人工（前馈）神经网络加以分开。次优学习定理（Suboptimal learning）：SVM（支持向量机）提供次优学习解Huang,et al 2012，Kernel（核）函数不必是黑箱，可以通过随机特征影射透明化Huang,et al 2012。生物神经网络的理论基础（机器或生物）学习可以不需要调整隐层节点（超限学习机ELM学习理论）：给定任何连续目标函数或可分类目标，只

3、要前馈神经的隐层节点是非线性阶段连续的，神经网络无需调整隐层节点就能任意逼近目标连续函数或对分类目标加以分类,首次理论证明SVM提供的是次优学习方法。Huang,et al 2004,2006,2007,2012。6再思考人工智能和机器学习的内涵和发展趋势71950s1970s2010现在年代机器学习人工智能1980s人工智能冬天(1970s)神经网络的复兴几乎所有的深度学习算法(包括CNN,BP等)都在1980s1990s提出的2004年诞生超限学习机（ELMs）由于高性能计算机和大数据的出现深度学习在2004年复兴2012年ELM学习机制在动物脑中发现人工智能诞生传统观点：机器学习是人工智

4、能的一个子集事实是：未来人工智能和机器学习紧密相关、有叠加但不一样8AI:Artificial Intelligence 人工智能ML:Machine Learning 机器学习DL:Deep Learning 深度学习ELM:Extreme Learning Machines 超限学习机BL:Biological Learning 生物学习人工智能和机器学习是两个有重叠、相互推进又不同的范畴。再思考人工智能和机器学习的内涵和发展趋势智能时代的代表不只是数据大!未来机器智能不一定属于人工智能趋势1：云端智能和本地智能的有机融合数据大而复杂云端相对学习能力数据小或特征复杂度不高终端SVM深度学习

5、ELM9趋势1：云端智能和本地智能的有机融合云端智能Cloud IntelligenceLocal Intelligence本地智能合同协作高功耗长反馈高计算强度深度学习等超限学习机等低功耗低延时低计算强度新的一波人工智能技术的爆发点：本地智能与云端智能的有机融合10趋势2：云端智能的同步协同111980s2010现在未来5年机器学习算法本身不再依赖于GPU的支撑，但GPU等却可以实现众多智能系统在云端的同步协同机器学习算法实现主要依赖PC端CPU的计算能力机器学习算法实现平台逐渐的转向了并行计算能力更加强大的GPU出现专门为机器学习定 制 的 云 计 算 单 元（TPU云+GPU云)单元功耗

6、计算强度TPU云GPU云神经形态芯片ASIC光子芯片FPGA智能芯片GPUCPU趋势3：从物联网到智能物联网12传感器智能芯片(FPGA,ASIC,加速器,忆阻器,神经形态)智能物(eg.智能设备、智能传感器、智能摄像头等)趋势4：机器学习和生物学习的汇合13机器学习生物学习机器学习和生物学习有逐步汇合的趋势深度学习神经形态ELM智能材料生物认知想象力神经网络自由意志情感情绪趋势5：普适学习/普适智能14无所不在的智能计算+存储神经单元趋势6：非冯诺依曼结构智能15外部内部的存储单元统一智能材料特殊算法运算器控制器内存储器外存储器输入设备输出设备CPU存