大数据技术沙龙会议报告：Flink在滴滴的应用实践-刘雨飞.pdf

1、Flink在滴滴的应用实践分享人：刘雨飞#page#目录1.发展概览2.集群架构3.业务场景4. StreamSQL5.平台化建设6.规划#page#实时计算发展历程业务方大集群StreamSQL引擎、平台StreamsQL萌芽升级普及自己玩平台化202020162017201820191.完成StreamsQL1.引擎统一到Flink1.引擎大版本升级1.小集群20+1.完成小集群收编第一版建设2.StreamSQL普及1.10.02.多种引擎并存2.引擎收敛到2.平台化建设期3.Meta化建设2.平台优化升级，3.业务方自建Spark和Flink3.CEP描述语言监控/报警/诊断3.平台化

2、建设/期#page#集群规模100+1300+12000+3万亿每日处理集群规模业务团队任务数量数据条数#page#集群架构#page#多Labe服务体系租户2（BU2）租户1（BU1）GroupCGroupAGroupBGroupDGroupENodeManagerNodeManagerNodeManagerNodeManagerNodeManagerNodeManagerNodeManagerNodeManagerNodeManagerNodeManagerNodeManagerNodeManagerLabelALabelBLabelENoLabel#page#定制实时调度器APP1APP

3、2APP3QueuelAPP4APP5Queue2基于CPU调度APP6APP7APP8RM主动分配ContainerQueue3排序算法优化到O（N）去掉资源抢占和预留机制NodeManagerNodeManagerNodeManagerNodeManagerNodeManagerNodeManagerNodeManagerNodeManagerNodeManagerLabelALabelBNoLabel#page#Flink最佳实践参数尽可能内置LesslsMore提供TaskManager默认规格restart-strategy内置无限重启默认使用RocksDB并内置优化参数集群配置对用

4、户透明提供默认TM规格配置，任务可以只关心并发度Per-jobMode，统一Session和job的概念大版本向前兼容，定期收敛小版本#page#三、业务场景#page#业务场景概述实时监控交易指标监控导航及POI准确率监控业务健康度监控车联网监控业务场景实时同步日志-ES/HDFSBinlog-Druid轨迹-HBase/GeoMesa实时数仓实时报表数据大屏实时业务司乘位置语义同步高危行程检测个性化营销#page#应用案例-实时数仓ODS层APP层DWD层DWD/DM层消息PublicFlink产品看板队列Log消息消息FlinkFlink队列队列消息FinkMySQL队列报表接口维度OL

5、APOLAP对外提供数据服务消息队列：Kafka、DDMQ维度表：Mysql、 HBaseOLAP：Druid、ClickHouse#page#应用案例-实时业务数据源匹配事件实时规则匹配规则列表冒泡后xx秒没有发单订单流下单后xx时间无人接单清洗/JoinCEP行为事件流#page#CEP建设Patternbegin(s1）自定义规则描述语言where(key=bubble&city=166”）支持多条规则分组匹配.notFollowedBy（s2）支持规则动态更新where(“key=order send & city = 166”）支持notFollowedBy带时间.timeEnd（s

6、3）.timeShiftMore(s1，Time.ms（5000）#page#四、StreamsQL#page#StreamsQL优点入门简单描述性语言“？批流一体化问题易排查？易于优化。#page#StreamSQL-DDL建设HBaseGeoMesa构建了完善的DDL内置消息格式解析（如binlogElasticSearchDDMQStreamsQL内置消息去重DruidKafkaKV StoreHDFSJDBC#page#StreamSQL-UDX建设UDFUDTF丰富内置支持自定义JSONUDXUDXUDA