滴普科技数据集成产品FastData DCT架构演进与实践--刘波.pdf

1、DataFunSummit#2023滴普科技数据集成产品FastData DCT架构演进与实践演讲人：刘波-滴普科技-FastData DataFacts PDT总经理01产品概述产品的整体介绍，是一款怎样的产品，如定位、价值主张等说明。02功能介绍模块化的功能说明，功能架构、功能模块与核心功能介绍。03技术架构演进技术架构的演进路线，先进性说明，及后续架构规划。04应用场景应用场景的说明，结合核心功能进行全链路的介绍，重点在数据传输。目录 CONTENT05成功案例典型项目的应用场景与价值说明。DataFunSummit#202301产品概述Data Fabric数据架构自2019年起，Ga

2、rtner连续4年将数据编织（Data Fabric）列为年度数据和分析技术领域的十大趋势之一。Gartner认为“Data Fabric是数据管理的未来”。Data Fabric是一种数据架构思想，包含DataOps数据工程，其中通过AI、知识图谱等智能技术，实现主动元数据治理。DCT简介DCT 1.0DCT 2.0配置化可视化组件化批流一体DCT 3.0DCT 4.0聚焦入湖入仓，出湖出仓场景，支持多引擎配置（PSC，Flink，Spark），支持批流一体，任务传输支持故障转移。致力于提供复杂网络环境下，丰富的异构数据源之间高速稳定的数据传输能力，以及繁杂的业务背景下的数据同步方案。DCT

3、（Data Collection Transform，简称DCT）支持关系型数据库、NoSQL、数据仓库(OLAP)、数据湖（Iceberg、Hudi）等数据源，可用于公有云之间、公有云与私有云之间的数据入湖入仓的结构迁移，存量数据同步和实时数据捕获同步。为企业实现数据流通，提供简单、安全和稳健的数据传输保障。产品定位：PB级数据量下高效、稳定的数据传输高速公路DCT产品是集数据迁移、数据集成、数据实时同步于一体的数据采集传输服务，解决远距离、毫秒级异步数据传输难题。为企业实现数据流通提供组件化、高可靠的数据采集服务。任务配置数据集成组件管理运维管理系统配置（数据源、引擎配置）实时采集离线采集

4、批流一体MySQLOracleHiveDLinkSQL ServerKafkaPostgre SQL DorisOceanBase DMIceberg HudiStarRocks读取源端MySQLOracleHiveDLinkSQL ServerKafkaPostgre SQL DorisOceanBase DMIceberg HudiStarRocks目标端写入产品价值异构数据源的实时融合支持 Oracle、MySQL、Iceberg、Kafka等实时增量数据捕获，基于异构语义映射实现异构数据实时融合，帮助用户提升数据流转时效性，提高数据融合、数据应用效率。整库入湖入仓，出湖出仓支持MySQ

5、L、Oracle等数据源入湖入仓，出湖出仓。快速构建湖仓内数据，打通数据孤岛，实现数据的统一管理和高效利用；为数据开发工程师和数据分析人员可以快速建立数据模型、构建应用提供数据来源。降本增效1)降本：多种架构简化场景，简化软件架构设计，降低异构数据融合成本。通过拖拉拽实现同步链路的创建，低代码，降低学习和维护成本。2)增效：无代码任务构建，提升数据集成敏捷性。支持组件自定义，提升客户业务创新效率。分布式引擎、组件级高可用保障，实时链路稳定高容错。支持关系型数据库、NoSQL、OLAP、数据湖等多种同构、异构数据源之间的结构迁移、离线同步和实时同步。使用同一套开发范式来实现大数据的流计算和批计算

6、，进而保证处理过程与结果的一致性。降低批流采集任务配置复杂度，一次配置，程序自动进行批和流的数据采集。高性能多源异构采集批流一体采集高可靠、高时效CDC机制，日志级监听，时效性有保障；支持断点续传、故障转移，保证数据传输的可靠性。组件插拔式组件插拔式管理，可自定义组件扩展，支持拖拉拽任务配置，低代码，易学易维护。低成本、高效率云原生架构单进程任务，最低1G内存，成本降到最低，支持并行度设置，有效地提高传输效率。无需调整现有架构，强兼容；基于日志，对源业务无侵入无影响，保证原业务库稳定运行。产品优势DataFunSummit#202302功能介绍基础服务数据源/逻辑组资源管理组件管理监控告警系统