1、 湖仓一体湖仓一体技术与产业技术与产业 研究研究报告报告 (20232023 年年)CCSA TCCSA TC601 C601 大数据大数据技术技术标准推进标准推进委员会委员会 2022023 3年年6 6月月 版权声明版权声明 本报告版权属于本报告版权属于 CCSA TC601 大数据技术标准推进委大数据技术标准推进委员会，并受法律保护。转载、摘编或利用其它方式使用本报员会，并受法律保护。转载、摘编或利用其它方式使用本报告文字或者观点的，应注明“来源：告文字或者观点的，应注明“来源：CCSA TC601 大数据技大数据技术标准推进委员会”。违反上述声明者，本院将追究其相关法术标准推进委员会”

2、。违反上述声明者，本院将追究其相关法律责任。律责任。编制说明编制说明 本报告的撰写得到了大数据领域多家企业与专家的支持和帮助，主要参与单位与人员如下。参编单位：参编单位：大数据技术标准推进委员会、中国移动通信集团山东有限公司、威海市商业银行、阿里云计算有限公司、腾讯云计算（北京）有限责任公司、华为云计算有限公司、北京镜舟科技有限公司、北京飞轮数据科技有限公司、科大讯飞股份有限公司、中兴通讯股份有限公司、天津南大通用数据技术股份有限公司、杭州数梦工场科技有限公司、杭州比智科技有限公司、北京数势云创科技有限公司、浙江数新网络有限公司、北京百度网讯科技有限公司、北京滴普科技有限公司、北京科杰科技有限

3、公司、北京偶数科技有限公司。参编人员：参编人员：魏凯、姜春宇、闫树、马鹏玮、田稼丰、刘彦美、朱祥磊、高鹏、魏冲、刘一鸣、孔亮、林楠、王宁、崔潇扬、杨勇强、汪定新、王涵毅、白雪、赵峰、汤雅琴、伍攀、陈关良、赵青柏、谢辉、高经郡、张立群。前前 言言 数据平台是能够为企业提供数据分析能力、支撑上层数据应用、助力企业数字化转型的底层基础设施，它包含数据存储、数据计算分析等能力的一套基础设施，通过汇聚各方数据，提供“采-存-算-管-用”全生命周期的软件支撑。经过数十年的发展，数据平台架构持续演进，主要经历了数据库、数据仓库、数据湖三个阶段。如今，数据仓库和数据湖是数据平台最广泛的两种架构：数据仓库具备规

4、范性，可针对结构化数据进行集中式的存储和计算，但无法处理半结构化与非结构化数据，且其扩展能力有一定局限性；数据湖具有更好的扩展能力，能够灵活支持对于多种类型数据的高效取用，但不支持事务处理，缺乏一致性、隔离性，数据质量难以保障。数据仓库和数据湖是两套相对独立的体系，各有优劣势，无法相互替代。为满足多种数据类型存储、多场景分析等业务诉求，企业采用数据湖+数据仓库混合架构。“数据湖+数据仓库”混合架构满足了结构化、半结构化、非结构化数据高效处理需求，解决了传统数据仓库在海量数据下加载慢、数据查询效率低、难以融合多种异构数据源进行分析的问题，但也存在混合架构复杂，开发运维难度大、成本高，数据处理链路

5、长时效低等问题。湖仓一体是指融合数据湖与数据仓库的优势，形成一体化、开放式数据处理平台的技术。通过湖仓一体技术，可使得数据处理平台底层支持多数据类型统一存储，实现数据在数据湖、数据仓库之间无缝调度和管理，并使得上层通过统一接口进行访问查询和分析。自 2021 年“湖仓一体”首次写入 Gartner 数据管理领域成熟度模型报告以来，随着企业数字化转型的不断深入，“湖仓一体”作为新型的技术受到了前所未有的关注，越来越多的企业视“湖仓一体”为数字化转型的重要基础设施。湖仓一体平台的建设解决了流批一体面临的原子事务、一致性更新以及元数据性能瓶颈等问题，使得湖仓一体平台的构建既能满足短期业务发展的需要，

6、又能支撑长期的数据应用诉求。为给社会各界深入了解湖仓一体技术与产业提供有价值的参考。本报告聚焦于湖仓一体技术，详细梳理了数据平台发展历程、湖仓一体实践路径，研究分析了湖仓一体产业现状，并对湖仓一体未来发展进行了展望与研判。由于时间仓促，水平所限，错误和不足之处在所难 免，欢 迎 各 位 读 者 批 评 指 正，意 见 建 议 请 发 送 至。目目 录录 一、湖仓一体是数据平台发展的重要趋势.1（一）数据平台的发展历程.1（二）数据湖、数据仓库特性分析.3（三）湖+仓混合业务架构存在四大痛点.4（四）湖仓一体技术应运而生.6 二、湖仓一体实践路径.10（一）湖上建仓.11（二）仓外挂湖.13 三