存算分离架构：加速电信行业数据处理驱动业务创新.pdf

1、加速电信行业数据处理，驱动业务创新存算分离架构吴昊北京酷克数据科技有限公司自 主 创 新 引 领公司概况2016年3月，酷克数据成立。公司由Greenplum和Apache HAWQ 的三位核心研发人员创立，专注于云端数据仓库等数据平台类产品研发。公司总部位于北京，在上海、广州、深圳、天津、武汉、杭州、新加坡/洛杉矶（筹）等地设立分支机构。国家高新技术企业信息技术应用创新工作委员会会员单位中国大数据产业生态联盟会员单位专注云化技术路线：16年开始专注投入云原生技术路线（创新性采用元数据、存储、计算三层分离架构），充分利用云平台近乎无限的存算资源，及弹性伸缩特性，以更低成本，更快的速度对越来越多

2、样的数据进行越来越复杂的分析，让数据能够便捷高效的流动、交易、融合；拥有顶级团队成员：核心团队主要由来自Pivotal、Teradata、IBM、Yahoo!、Oracle和华为等公司资深的云计算、分布式数据库和大数据专家组成；服务众多知名企业：服务运营商、金融、央企、互联网等行业头部客户，包括中国移动、中国联通、中国电信、建设银行、中国银行、中国石油、招商局等世界级企业，其中最大客户规模约3万个节点。研发实力 HashData 研发团队核心成员均来自硅谷领先的分布式数据库软件公司，对于数据库内核演进和掌控能力强；HashData源自Greenplum，超越Greenplum，目前数据库内核已

3、合并到PostgreSQL 14；2022年，HashData 数据库内核研发工程师参与贡献PostgreSQL代码达16次，包括7个Author Commits，8个 Review Commits，1个Report Commits；2023年第十二届 PostgreSQL 中国技术大会授予HashData数据库最佳产品奖。HashData 研发团队大部分为原Greenplum中国团队成员，是国内PostgreSQL代码提交非常活跃的团队PG 13 Greenplum 中国团队贡献PostgreSQLCPU操作系统存储网络1.作为国内领先的数据库研发企业，早在2020年酷克数据便启动了信创工作

4、，建设了完善的信创生态：2020年酷克数据与华为云鲲鹏云实现了兼容性认证；后续又完成了麒麟操作系统认证、飞腾芯片兼容性认证、欧拉操作系统认证、统信操作系统认证。并与芯片、中间件、应用软件、硬件等生态上下游厂商保持紧密的协同合作，构建完善的生态体系；2.借助完善的生态，酷克数据帮助多家企业完成了信创化改造：中国联通湖仓一体数据平台项目：鲲鹏/X86+麒麟/统信；中移在线营服数据处理平台项目：鲲鹏+欧拉；国家金融监督管理总局监管报送项目：鲲鹏+麒麟；建设银行云计算平台国产化一期试点项目：鲲鹏+统信、飞腾+麒麟；中国银行数据纵横平台推广项目：鲲鹏+麒麟。3.2021年底酷克数据正式加入信创工委会，积

5、极参与信创活动。云平台服务器信创实力数据平台建设面临的主要挑战存算分离架构在电信行业的应用现状存算分离架构的技术实现010203目 录Contents数据平台建设面临的主要挑战Chapter 01运营商大数据需求的背景新平台催生新数据思维大数据时代，同时伴随移动互联网的发展，之前无法想象的海量数据进入运营商的数据处理平台。需求和特征Level4数字经营，建立差异化的业务优势构建对外数据交换和交易能力、数据资源池开放生态，聚合合作伙伴，创新商业模式Level3构建互联网化的运营能力建设集中化的企业级大数据中心 Level2解决特定业务领域问题应用场景牵引，建立垂直的大数据应用Level1大数据技

6、术解决单点业务问题原数据系统的存储和性能能力的扩展 数据洞察不再依存于基于复杂模型的抽样理论，而是基于全量数据进行分析，进行全量计算，降低对复杂模型的依赖；运营商积累了海量多源的数据，并且意识到基于这些数据需要深刻的洞察，挖掘出未曾有过的数据价值。大数据平台数据仓库数据集市/数据应用支撑平台数据分发数据回流数据载入数据加载数据源数据应用与服务现有产品缺陷，包括规模能力、异构兼容能力和平台开放能力三个方面的缺失 应用之间交换数据成本高，需要平台厂商和应用厂商共同定制开发机制产品架构老数据新孤岛存算绑定，大量硬件资源浪费数据平台难以根据业务的需求快速扩容，并且基本无法做到缩容，从而影响业务的敏捷响