邵赛赛-元数据驱动：构建下一代智能数据架构的探索与实践.pdf

1、元数据驱动：构建下一代智能数据架构的探索与实践邵赛赛Datastrato联合创始及CTO About meCo-founder&CTO of Datastrato.The original creator of Apache Gravitino.The committer and PMC member of Apache Spark.Apache Member.Goal3Vs-Volume,Velocity,and Variety.数据架构的历史演变现有数据架构的问题和挑战现状 1 追求数据架构3V的回报越来越低存储密度、网络带宽的快速增长，构建大规模的高密度存储架构变得更为简单https:/

2、 2 使用和管理数据栈的复杂度还在持续上升https:/ engineers/analyst/scientistsData stewardDataOpsengineer现状 3 迈向智能化是事物发展的基本规律以汽车工业举例以汽车工业举例?Speed carAutonomous car围绕AI构建的下一代数据架构ETL/ELTData pipelineData warehousingData lakeData governanceData observabilityBIData analyticsData scienceAI powered knowledge base-Data Brain在A

3、GI时代如何重塑我们的数据架构使用元数据构建数据架构的大脑元数据是关于数据的数据，即描述、解释或为其他数据提供上下文的结构化信息。上下文理解与发现：元数据充当数据字典，描述了数据集的内容、结构和内部关系，帮助用户理解和发现数据资源。协调与治理：元数据在不同系统与团队之间架起了沟通的桥梁，是实现数据有效协调与治理的基础。通过记录数据的来源、格式、访问权限等管理性信息和技术细节，元数据确保了数据在流转过程中的一致性和可控性。决策支持与自动化：元数据为智能自动化提供了关键指引，它能够指导工具如何正确地处理数据，从而支撑高效的决策和自动化流程。组织与管理：除了上述作用，元数据还通过提供分类、索引和权限

4、等信息，帮助对大量数据进行高效的组织和管理，确保数据的可靠性和可用性。使用元数据和大模型结合构建出数据架构的大脑使用MCP连接器构建数据栈的左膀右臂数据大脑structured datasemi-structured dataunstructured datadiscoveryauditclassificationlineageoptimizemaintenanceTTLcompaction治理工具分析工具维护工具Analytic AgentGovernance AgentMaintenance Agent架构优势：依托元数据及大模型构建的数据大脑进行任务决策。将不同的工具栈MCP化，使得工具

5、栈可以使用数据大脑驱动。如何使用Apache Gravitino构建智能数据架构什么是Apache GravitinoTMApache Gravitino-Catalog of Catalogs(Metadata Lake)Key features:AI+Data CatalogGeo-distributed ArchCatalog+GovernanceSecurity in One placeSSOTHadoop Data LakeData WarehouseStreaming ProcessingMachine LearningHive MetastoreBuilt-in CatalogS

6、chema RegistryModel RegistryMetadata Lake built withGravitino使用Gravitino构建数据大脑MetadataStorageUnified REST APIsTabularMessage QueueFilesModelsMetalakeCatalogSchemaTableConnec-tionCatalogSchemaFilesetConnec-tionCatalogSchemaModelConnec-tionCatalogSchemaTopicConnec-tionCatalog serviceGravitinoVectorDBM