当前位置:首页 > 报告详情

浙江电信 Apache Doris 实战之路 - 喻志强 浙江电信.pdf

上传人: 表表 编号:599495 2025-01-24 19页 4.30MB

1、浙浙江江电电信信 A Ap pa ac ch he e D Do or ri is s 实实战战之之路路浙浙江江电电信信-大大数数据据中中心心喻喻志志强强Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024喻喻志志强强 浙江电信大数据中心平台侧负责人,资深

2、通信运营商数据仓库和大数据平台建设专家分分享享嘉嘉宾宾 -中中国国电电信信浙浙江江公公司司Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024目目录录大大数数据据建建设设历历程程0 01 1A Ap pa ac ch he e D Do or ri is

3、s 实实践践0 02 2湖湖仓仓一一体体实实践践0 03 3后后续续规规划划探探讨讨0 04 4Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 20240 01 1大大数数据据建建设设历历程程Doris Summit Asia 2024Doris Summit

4、 Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024浙浙江江电电信信大大数数据据平平台台建建设设历历程程建建设设内内容容:基于 Teradata 建设B域数据仓库与数据集市应用规规模模:2 20 0台台支支持持存存储储:4 40 00 0T TB B建建设设内内容容:构建数据中台能力,基于中台开展作业、模型、报表迁移,数据

5、治理及培训推广工作,并实现开发运营模式优化。规规模模:2 20 0+台台建建设设内内容容:深化湖仓一体/流批一体架构应用,基于 Doris 构建查询库、BSS 运维库,深化Doris使用,完成从2.0.x到2.1.x版本实践规规模模:Doris 达到80节点建建设设内内容容:实时经分和网络大数据集群,基于 CDH 构建人力、业务稽核、网管、端到端应用、跨域分析等应用。规规模模:7 70 00 0+台台支支持持存存储储:2 20 0P PB B建建 设设 内内 容容:基 于 电 信 自 研 P a a S 翼MR/TDP+Iceberg+Doris 新建湖仓一体架构进行BMO域数据统一汇聚。逐步

6、转型为以自有人员为主。规规模模:6 64 40 0+台台2 20 00 04 42 20 01 16 62 20 02 21 12 20 02 24 42 20 02 23 3Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024基基于于 A Ap pa a

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要介绍了浙江电信在建设大数据平台过程中,采用Apache Doris实践的经验分享。电信大数据中心负责人喻志强详细阐述了浙江电信大数据平台的建设历程,从最初的基于Teradata建设B域数据仓库,到构建数据中台,实现开发运营模式优化,以及深化湖仓一体/流批一体架构应用。目前,浙江电信已将部分业务从Oracle、PG、ES迁移到Doris,实现了实时数仓汇聚、生产加工和应用的整体采用Doris完成。 关键点如下: 1. 浙江电信大数据平台采用Apache Doris作为查询库、BSS运维库,实现实时数仓和离线数仓的统一汇聚、生产加工。 2. 从2.0.x版本升级到2.1.x版本后,Doris在性能和稳定性方面有显著提升,整体性能提升了30-50%,稳定性提升超30%。 3. 电信自研实时入湖平台,数据统一写入Iceberg,对存在compaction问题由Doris预处理,满足实时数仓需求。 4. 湖仓一体架构深入建设,将业务系统原有的报表库、运维库从Oracle、PG、ES逐步改造到Doris,构建业务库的专区。 5. 后续规划探讨包括:资源隔离能力优化、探索异构化、半结构化数据的能力支持、优化当前架构、压降运营成本以及跨源访问优化等。
"Apache Doris 实践中的挑战与收获" "湖仓一体架构如何提升数据处理效率?" "未来数据中心的存算分离与优化策略"
客服
商务合作
小程序
服务号
折叠