白鲸开源 代立冬-基于 Apache SeaTunnel 实现超高性能数据同步.pdf

1、基于基于 Apache SeaTunnel 实现超高性能数据同步实现超高性能数据同步代立冬代立冬(David)(David)ApacheApache SeaTunnelSeaTunnel PMCPMC ApacheApache DolphinSchedulerDolphinScheduler PMCPMC ChairChair白鲸开源联合创始人白鲸开源联合创始人Apache 基金会正式成员Apache 孵化器导师Apache SeaTunnel PMCApache DolphinScheduler PMC ChairTrack Chair of BigData of ApacheCon Asi

2、a 2021/2022/2023代立冬(David Zollo)0101数据数据集成的痛点集成的痛点0202SeaTunnelSeaTunnel 功能与架构功能与架构0303用户用户案例案例目录目录 CONTENTCONTENT0404RoadmapRoadmap0101数据数据集成的痛点集成的痛点数据源多达几百种，版本间不兼容，而且不断有新的出现频繁读取 binlog 对数据源端影响大大事务、Schema 变更影响下游低吞吐高时延导致数据无法及时到达离线同步和实时同步常被分开管理，维护困难数据割接人工进行数据丢失与重复，无法一致性出现问题无法回滚或者断点继续执行同步过程不透明，缺少监控企业数

3、据集成面临的问题企业数据集成面临的问题6Apache Apache SeaTunnelSeaTunnel 简介简介2023 年 6 月 1 日正式成为 Apache 顶级项目。首个国人主导的数据集成项目每天可以稳定高效同步万亿级数据，已在数百家公司生产上使用Next-generation high-performance,distributed,massive data integration tool0202SeaTunnelSeaTunnel 功能与架构功能与架构无中心化设计确保系统无中心化设计确保系统的高可用，支持多云的高可用，支持多云支持每日万亿级数据量支持每日万亿级数据量同步同步简单

4、易用，开箱即用，不依简单易用，开箱即用，不依赖赖 HDFSHDFS，FlinkFlink，SparkSpark全可视化操作全可视化操作存算分离架构设计存算分离架构设计高性能数据同步高性能数据同步支持节点动态伸缩支持节点动态伸缩全量到增量无锁化自动切换全量到增量无锁化自动切换读缓冲读缓冲(一个源到多个目标数据一个源到多个目标数据源，只用一次读取源，只用一次读取)动态速率控制，对源端和目标端动态速率控制，对源端和目标端压力可控压力可控支持支持 SchemaSchema EvolutionEvolution断点续传断点续传实现实现 Exactly-OnceExactly-Once 一次语义，一次语义

5、，保证数据一致性保证数据一致性云组件支持云组件支持K8sK8s 支持支持AWS RedshiftAWS Redshift、S3,RDS,DynamoDBS3,RDS,DynamoDB阿里阿里 OSS FileOSS File，TableStoreTableStore 等等批流批流 、实时、实时、CDCCDC一体一体化配置化配置无主键增量数据集成无主键增量数据集成整库同步、表结构自动变整库同步、表结构自动变更更丰富的数据源支持，目丰富的数据源支持，目前已经支持前已经支持 100+100+种数种数据源据源SeaTunnel 核心功能与目标9 SeaTunnel：下一代实时多源数据同步工具.上百种数

6、据源上百种数据源数据同步与集成数据同步与集成目标数据目标数据源源原有解决方案原有解决方案Sea TunnelSeaTunnelUniversal APISeaTunnelEngine 批量数据全量、增量集成 实时数据集成 批量无主键增量集成等Table APISource APIEngine APISink API100+接口数量接口数量3x版本迭代版本迭代500+%接口数增长接口数增长MySQLPostgreSQLKafkaMongoDBElasticTiDBDruidRedisHiveHudiKuduHBaseMySQLMongoDBOracleHudiInfluxDBPostgreSQL