1、1赵慧玲赵慧玲大数据技术创新和应用 中国电信云计算研究中心2内容提纲大数据行业背景概述中国电信大数据技术创新中国电信大数据行业应用实践3大数据产业最新概况产业步入复苏期,互联网+是国内新机遇20112012(大数据元年)201320142011年麦肯锡总结大数据现象并发布报告大数据的下一个前沿:创新、竞争和生产力,点燃大数据热潮 2013年4月,阿里收购友盟,参股新浪微博 2013年5月,阿里入股高德地图 2013年6月,沃尔玛收购大数据公司Inkiru 2013年6月,“棱镜门”事件1 12 23 3 2012年3月,美国启动“大数据研究和发展计划”,标志大数据上升为国家战略 2012年11
2、月,数据科学与信息产业大会在北京召开,标志数据科学登上产业舞台,学术、产业和资本市场达成共识萌芽期过热期复苏期 政府高度重视 各种研究机构成立 资本市场沸腾 行业案例遍地开花 内部数据是主要来源 并购潮风起云涌市场持续升温,价值不断显现4 45 5 2015年7月,国务院发布关于运用大数据加强对市场主体服务和监管的若干意见 2015年7月,国务院关于积极推进“互联网+”行动的指导意见 2015年9月,国务院发布促进大数据发展的行动纲要幻灭期 国家推动 从概念到实用2015未来3年2014年4月,世界经济论坛以“大数据的回报与风险”主题发布了全球信息技术报告 2014年5月,美国白宫发布2014
3、年全球“大数据”白皮书大数据:抓住机遇、守护价值2014年11月,中国首个“工业4.0”联盟成立4大数据产业特性数据与技术双驱动数据和技术双驱动的大数据产业大数据应用技术【Geo、推荐、可视化】数据能力开放【数据银行、数据交易】算法和能力开放【机器学习、预测分析】技术基础设施【Hadoop、Spark、NoSql】数据基础设施【企业数据、物联网数据】SAASPAASIAAS大数据行业应用【地理BI,广告优化】5灯塔大数据产业定位整合多源数据,打造能力平台,创新行业应用整合多源数据打造能力平台创新行业应用中国电信定位于通过广泛整合多源数据、精准打造能力平台、深入创新行业应用,与业内合作伙伴一起,
4、共同营造大数据生态圈大数据产业地图 2016 (FirstMark)灯塔大数据自我定位大数据技术热点混合数据存储混合数据库架构异构数据关联混合数据存储混合数据库架构异构数据关联 提供超大容量的存储空间 支持对海量数据的智能检索和分析 兼容各种类型的大数据应用 提供混合的数据存储模型,支持文件、对象、键值、块等多种访问接口 融合关系型数据库、列数据库、内存数据库、图数据库等多种数据库,形成混合数据库架构 满足多种场景下的数据处理需求实现电信数据内的多种用户ID关联,实现多场景、多屏幕信息打通,实现更全面和精准的用户描述借助从电信数据中挖掘出的外部ID,实现电信数据与外部数据的打通,从而打破电信数
5、据开放的壁垒 将多源异构数据进行关联和融合,挖掘数据之间的相关性,能够为数据分析奠定坚实的基础,最大限度地发挥数据价值对内数据融合对外数据开放大数据技术热点行业知识库深度标签行业知识库深度标签 面向多个行业,深挖行业知识详情,构建行业知识库,形成完整的行业知识体系,有效推动数据应用与价值落地 通过针对大数据场景的数据挖掘,深入分析用户行为,打造多层次、多角度的用户深度标签,使得大数据应用更加精准,大数据业务能够更加贴近用户,更好地满足用户的需求8大数据采集与存储解决方案 大数据的采集与存储解决方案包含:电信网络大数据的采集、互联网公开数据的采集以及企业自有数据的接入,并将三种来源的数据进行融合
6、和存储,构建IAAS层,供PAAS层调用。面向电信管道数据、互联网公开数据和企业自有数据等多种数据类型,分别构建数据采集能力,并定义统一的数据采集接口与存储接口,解决了多源异构数据的采集与存储问题。目前平台已采集并汇聚电信数据1000多亿条、外部数据4亿条。9大数据应用:数据API 大数据的应用全部对接标准化的数据API,包括群体画像API、精准标签API、泛义征信API以及地理人口统计API。群体画像API精准标签API泛义征信API地理人口统计API数据APIPAAS10灯塔大数据多源数据整合灯塔大数据目前已广泛整合中国电信内部云公司与省公司数据、抓取互联网公开数据和接入第三方数据,有效数