数据湖统一元数据和存储管理(1).pdf

1、数据湖统一元数据和存储管理演讲人：范佚伦阿里云2023 云上数据湖架构数据湖统一元数据数据湖管理与存储优化数据湖格式管理与优化云上数据湖架构什么是数据湖A data lake is a system or repository of data stored in its natural/raw format,usually object blobs or files.A data lake is usually a single store of all enterprise data including raw copies of source system data and transfo

2、rmed data used for tasks such as reporting,visualization,advanced analytics and machine learning.A data lake can include structured data from relational databases(rows and columns),semi-structured data(CSV,logs,XML,JSON),unstructured data(emails,documents,PDFs)and binary data(images,audio,video).A d

3、ata lake is a centralized repository that allows you to store all your structured and unstructured data at any scale.You can store your data as-is,without having to first structure the data,and run different types of analyticsfrom dashboards and visualizations to big dataprocessing,real-time analyti

4、cs,and machine learning to guide better decisions.Azure Data Lake includes all the capabilities required to make it easy for developers,data scientists,and analysts to store data of any size,shape,and speed,and do all types of processing and analytics across platforms and languages.数据湖是统一存储池，可对接多种数据

5、输入方式，您可以存储任意规模的结构化、半结构化、非结构化数据。数据湖可无缝对接多种计算分析平台，直接进行数据处理与分析，打破孤岛，洞察业务价值。同时，数据湖提供冷热分层转换能力，覆盖数据全生命周期。n 相比于传统数仓内置存储，数据湖通过存算分离实现统一存储统一的存储，解决数据孤岛问题灵活性强，存算分离，开放的数据，多种引擎分析n 相比于传统数仓事前建模，数据湖可以保存原始数据事后建模云上大规模、高可用、低成本的中心化存储数据类型丰富，支持结构化、半结构化、非结构化数据类型存储原始数据，避免数据丢失n 相比于传统数仓，数据湖缺乏数据治理、性能安全，权限事务性数据质量性能数据湖逐渐支持数仓能力，实

6、现湖仓一体n 元数据统一与数据湖管理统一元数据层查询和定位数据开放的数据格式支持多引擎直接读取统一的元数据/SQL API统一权限提供企业级数据管理和安全的能力n 数据湖查询优化数据缓存加速数据索引加速n 利用数据湖格式实现事务层支持ACID事务隔离，解决读写冲突支持多版本时间旅行，指明每个Table版本所包含的数据对象同时支持流批混合读写n 统一的数据湖存储层利用云上对象存储存储原始数据，支持半结构化和非结构化数据阿里云数据湖架构n 支持多引擎计算分析E-MapReduce(Hive/Spark/Presto/Impala/Starrocks)MaxCompute、Flink、Hologre