1、数据虚拟化引领下一代数据管理技术Bill HeRVP GCRApr 2025随着技术的发展各种技能的门槛会不断降低,使用人口逐步上升到了交叉点以后这种技能就会变成一种基本的素养要求电脑,智能手机,数据管理数据虚拟化技术,本质是数据民主化进程演讲内容操作型应用系统操作型应用系统操作型应用系统物联网数据其他新数据种类操作型应用系统操作型应用系统数据立方体操作型应用系统数据立方体?操作型应用系统操作型应用系统操作型应用系统物联网数据其他新数据种类1980s前数仓时代1990s数仓时代2010s2000s时期逻辑数仓时代操作型应用系统操作型应用系统操作型应用系统数据仓库数据仓库数据湖?逻辑数据架构数据
2、仓库数据湖数据集市操作数据存储数据暂存/数据摄取统一分析视图集成的数据收集数据单部署,多节点提供比任何单一服务器更多的分析功能统一分析视图所有数据的逻辑整合视图连接即收集多部署,多节点提供比任何单一服务器更多的分析功能ID:342254分散的分析结构/无统一分析视图多数据源多种结构化数据分散的分析结构收集数据(到不同数据库)新的数据源类型复杂的处理与要求不一致的视图后数仓时代Denodo数据编织这一架构理念,已成为全球最新的数据架构设计趋势数据编织已经连续四年被Gartner列为未来5-10年数据管理领域的重点趋势之一数据虚拟化解决什么问题传统数据管理方法面向未来的数据管理方法Denodo引领
3、的数据虚拟化,一个“分布式”的数据集成平台可预见的下一代企业级数据架构数据来源数据分析工具数据科学工具数据目录发现-探索-文档数据即服务RESTful/ODataGraphQL/GeoJSONSQL消费者自助服务混合/多云查询优化AI/ML智能推荐数据安全与治理嵌入式 MPP 引擎整合任何位置、格式或延迟的不同数据管理将相关数据转化为具有通用语义模型的视图交付通过数据分析和数据科学工具、数据目录和应用程序接口逻辑数据管理200+数据接口应用软件流式数据云端应用数据文件OLAP数据Hadoop与 NoSQL云存储传统数据库和数仓数据虚拟化是如何解决数据集成问题的Denodo搭建了业务和数据源之间
4、的桥梁Data Fabric NetCompoundsCustomersProductsClaimsRDBMS/OLTPTraditional Analytics/BIData LakesCloud Data StoresApps and Document RepositoriesFlat FilesThird PartyLegacyMartData WarehouseMartETLETLXML JSON PDFDOC WEBDenodo搭建了业务和数据源之间的桥梁数据虚拟化在汽车行业客户中的一些实践与国内某大型车企合作,提高业务敏捷性,实现数据自治与数据民主背景介绍:在整车厂,为了避免工人装
5、卸货物时不及时或者出现遗漏等操作,整车厂的车间通过数字化的手段对工人装卸货物的操作进行了数字化管理,一次性扣料成功率是其中的重点关注KPI。一次性扣料成功率是指在工人进行装卸货物操作时,能够一次性准确无误地完成所有指定任务的比例。通常以百分比表示,成功率越高,表示工人的操作越准确、效率越高。业务价值:1.提高生产效率:高的一次性扣料成功率意味着工人能够在最短的时间内完成任务,减少了重复操作的时间,从而提高了整体生产效率。2.降低错误率:减少了因操作错误导致的返工和修正,降低了生产过程中的错误率,确保了生产流程的顺畅。3.节约成本:减少了因错误操作导致的材料浪费和时间浪费,从而降低了生产成本。据
6、统计,每年因错误操作等原因造成的直接和间接经济损失近千万元。4.提升产品质量:确保每个生产环节的准确性,有助于提升最终产品的质量,增强客户满意度。快速完成异构数据的分析处理推动BI敏捷交付整体减少30%到50%交付时间与国内某大型车企准备开展的客户之声(VOC)项目背景介绍:天下武功,唯快不破,“信息力”体现在对数据的快速捕捉与处理上。这个客户之声(Voice of Customer)案例解释了为什么华为如此在意构建一个快速响应的敏捷数据平台,这种处理效率让用户击节赞叹,从而提升用户忠诚度。而大型车企的平台应有能力处理在一天内10002000个类似事件。