3-3 联想基于Apache DolphinScheduler构建统一调度中心的应用实践.pdf

1、演讲人：李岗演讲人：李岗Apache DolphinScheduler PMC&CommitterApache Local Community Beijing Member联想联想-资深数据架构优化工程师资深数据架构优化工程师|联想基于联想基于Apache DolphinSchedulerApache DolphinScheduler构建统一调度中心的应用实践构建统一调度中心的应用实践|Why ApacheWhy ApacheDolphinScheduler DolphinScheduler 在联想的落地实践在联想的落地实践BackgroundBackground背景需求背景需求0101020

2、203030404CONTENTSCONTENTS目录目录3.x3.x新特性新特性&RoadmapRoadmap|0101BackgroundBackground背景需求背景需求|1.1.定时通知任务定时通知任务2.2.ETLETL任务任务3.3.HTTPHTTP任务任务执行链执行链4.4.任务实时监控任务实时监控5.5.丰富任务类型管理丰富任务类型管理6.6.运维脚本管理运维脚本管理7.7.业务系统开发的定时任务可以统业务系统开发的定时任务可以统一管理一管理8.8.上下游依赖的事件触发上下游依赖的事件触发9.9.任务调度可靠性保证任务调度可靠性保证背景需求背景需求统一调度中心，统一调度中心，

3、进行任务统一监控和调度进行任务统一监控和调度|功能功能丰富丰富运行运行隔离隔离易维易维护护线性扩线性扩展展分布分布式式易用易用性性业务需业务需求易扩求易扩展展高可用高可用轻量化轻量化调度中心的需求抽象调度中心的需求抽象高可靠性高可靠性调度节点高可用调度节点高可用执行节点分布式执行节点分布式轻量化轻量化非常轻量，用于调度流程、启动任务等的开非常轻量，用于调度流程、启动任务等的开销非常小销非常小调度性能线性扩展调度性能线性扩展调度器使用分布式调度，调度能力随集群规调度器使用分布式调度，调度能力随集群规模增长而线性增长模增长而线性增长丰富易用丰富易用支持多种任务类型支持多种任务类型能够轻松定义复杂的

4、任务依赖关系能够轻松定义复杂的任务依赖关系业务隔离业务隔离支持业务独立的工作空间，不同的工作空间，相支持业务独立的工作空间，不同的工作空间，相互之间不会干扰互之间不会干扰业务易扩展业务易扩展插件化，支持业务自定义插件扩展，可以实现新需插件化，支持业务自定义插件扩展，可以实现新需求求|0202Why DolphinScheduler Why DolphinScheduler|DolphinSchedulerDolphinScheduler功能一览功能一览DolphinSchedulerDolphinScheduler社社区发展区发展2 24 4调度系统对比调度系统对比1 1DolphinSche

5、dulerDolphinScheduler架构设计架构设计3 3Why DolphinSchedulerWhy DolphinScheduler|调度系统对比调度系统对比|调度系统调研对比调度系统调研对比XXl-JobXXl-JobDolphinSchedulerDolphinSchedulerAirflowAirflow定位定位一个轻量级分布式的任务调度一个轻量级分布式的任务调度框架框架云原生的分布式易扩展的可视化工云原生的分布式易扩展的可视化工作流任务调度平台，致力于解决数作流任务调度平台，致力于解决数据处理流程中错综复杂的依赖关系据处理流程中错综复杂的依赖关系以编程方式编写、调度和监控工

6、作以编程方式编写、调度和监控工作流的任务调度平台流的任务调度平台支持任务类型支持任务类型JavaJava,shell,python,shell,python丰富的任务类型，近丰富的任务类型，近2020种任务类型，种任务类型，覆盖绝大多数的业务场景覆盖绝大多数的业务场景PythonPython、BashBash、HTTPHTTP、MysqlMysql等，等，支持支持OperatorOperator的自定义扩展。的自定义扩展。可视化流程定义可视化流程定义无无可配置任务级联触发可配置任务级联触发是是DAGDAG可视化拖拽可视化拖拽2.x2.x已支持已支持Workflow-as-codeWorkflo