【曾辉】API7.ai 的全球化探索和实践.pdf

1、A Ap pa ac ch he e D Do ol lp ph hi in nS Sc ch he ed du ul le er r 的的出出海海之之路路曾曾辉辉白鲸开源高级社区经理APACHE DOLPHINSCHEDULER COMMITTER白鲸开源高级社区经理，开放原子基金会开源大使，NEXTARCH基金会开源大使LINKED-IN:NIKO ZENGE-MAIL:ZENGHUIAPACHE.ORG曾曾辉辉我我们们是是谁谁？A Ap pa ac ch he e D Do ol lp ph hi in nS Sc ch he ed du ul le er r海豚调度是一个分布式、易扩展

2、的工作流调度平台，具有强大的DAG（有向无环图）可视化界面，专门用于解决数据管道中的复杂任务依赖问题，并支持多种任务类型的工作流。我我们们的的现现状状受受欢欢迎迎的的T To op p任任务务调调度度平平台台A Ap pa ac ch he e 基基金金会会顶顶级级项项目目4 45 50 0+C Co on nt tr ri ib bu ut to or rs s1 10 06 60 00 0 +S St ta ar rs s1 10 00 00 00 0 +用用户户我我们们解解决决了了什什么么问问题题？大数据处理流程的“操作系统”复复杂杂的的任任务务变变得得简简单单在大规模数据处理过程中，各

3、种任务之间通常存在复杂的依赖关系，这使得任务调度和管理变得非常困难。数数据据任任务务更更可可靠靠DolphinScheduler 提供了故障转移和重试机制，当任务失败时，可以自动进行故障转移和重试，大大提高了数据处理的可靠性。灵灵活活的的调调度度策策略略当我们在处理大量数据时，很难把握所有任务的状态和进展。DolphinScheduler提供了可视化的方式，可以一目了然地看到所有任务的状态和进度发发展展历历程程2 20 01 19 9.0 02 2D Do ol lp ph hi in nS Sc ch he ed du ul le er rO Op pe en n S So ou ur rc

4、 ce e2 20 01 19 9.1 12 2F Fi ir rs st t A Ap pa ac ch he e R Re el le ea as se e500+Users,150+Contributors2 20 01 19 9.0 08 8A Ap pa ac ch he e I In nc cu ub ba at to or r2 20 02 21 1.0 04 4A Ap pa ac ch he e T TL LP P2 20 02 21 1.1 12 22 2.0 0.0 0 R Re el le ea as se eCore Performance*10K8S Support

5、2 20 02 22 2.6 63 3.0 0.0 0 R Re el le ea as se eNew UIData Quality TaskAWS Task2 20 02 22 2.1 10 03 3.1 1.0 0 DataStreamMLOps OrchestrationK8S OA Ap pa ac ch he e D Do ol lp ph hi in nS Sc ch he ed du ul le er r U Us se e C Ca as se 0 01 1为为什什么么我我们们要要出出海海？全全球球化化的的重重要要性性和和好好处处D Da ay y 1 1 全全球球化化打破区

6、域天花板走在技术前沿提提升升项项目目质质量量交流多元化获得更多的反馈更更多多的的商商业业机机会会正向反哺社区让开源更健壮创创新新来来自自于于对对过过往往经经验验的的质质疑疑0 02 2出出海海历历程程挑挑战战和和胜胜利利A Ap pa ac ch he e D Do ol lp ph hi in nS Sc ch he ed du ul le er r的的全全球球化化之之路路海海外外市市场场选择好自己的阵地增增强强归归属属感感更更多多精精彩彩内内容容粘粘性性更更多多口口碑碑分分享享长长尾尾流流量量增增长长影影响响新新老老用用户户参参与与社社区区共共建建搭搭建建增增长长飞飞轮轮技技术术活活动动布