2-徐帅-Bigo实时计算平台建设实践-TSY.pdf

1、Bigo实时计算平台建设实践 徐帅 /Apache Flink Contributor，Bigo计算平台负责人 特色与改进 #2 发展历程 #1 业务场景 #3 效率提升 #4 总结展望 #5 Bigo实时计算平台的发展历程#1 为全球用户提供直播服务 短视频创作与分享APP 全球免费的通讯工具 Bigo业务简介 LikeeLiveImo Bigo实时计算发展历程 Spark Streaming 作业很少 2018年之前 开始使用Flink 离散发展 2018-2019 统一的实时计算 平台BigoFlow 2019-now Bigo实时计算平台现状 Data Source Mysql Kaf

2、ka BDP Resource Management Compute Engine BigoFlow Data Storage Bigo Realtime Compute Platform APP Web Develo p Debug Monito r Data Pipeline Pulsar Bigo实时计算平台的特色与改进#2 一站式开发运维监控平台 1、功能强大的SQL编辑器 2、图形化拓扑调整、配置 3、一键多集群部署 4、版本统一管理，尽可能收敛 开发 1、完善的savepoint管理机制 2、日志自动收集到ES，内置常 用错误排查规则 3、保存了任务历史，方便进行对 比和问题追踪

3、运维 1、监控自动添加，用户基本无需 手动配置 2、自动化分析资源使用，为用户 推荐合理资源配置 监控 元数据全面打通 一次导入，无限使用 无需DDL Kafka 无需定义，直接使用 Hive 可自动追踪到Kafka 的topic ClickHouse 通用场景端到端的解决方案 1、通用打点完全自动化接入 2、用户无需开发任何代码 3、数据进入hive 4、自动更新meta ETL 1、数据源自动切换 2、监控规则不变 3、结果自动存入prometheus 监控 1、大大提高了abtest的效率 2、流批一体 ABTest 对Flink的扩展与改进 Kafka Pulsar ClickHouse Hbase Hive Redis Prometheus Connector Json Protobuf Baina Format EventTime支持 维表分区过滤 Parquet复杂类型支持