字节-雷丽媛-字节跳动云原⽣消息队列实.pdf

《字节-雷丽媛-字节跳动云原⽣消息队列实.pdf》由会员分享，可在线阅读，更多相关《字节-雷丽媛-字节跳动云原⽣消息队列实.pdf（48页珍藏版）》请在三个皮匠报告上搜索。

1、字节跳动云原消息队列实践雷丽媛 字节跳动基础架构程师个简介 2015 年毕业于俄亥俄州学 2015-2017 年就职于百度搜索架构部 参与分布式表格及分布式件系统的研发作 2017年5 加字节跳动 曾负责 HDFS 的研发作 前任离线消息队列向负责，与团队从零搭建了新代兼容 Kafka 协议的云原消息队列 BMQ录 Kafka 时代 新代消息队列 BMQ BMQ 架构 BMQ 容灾容错 BMQ 在字节的应 BMQ 的未来 Q&A录 Kafka 时代 新代消息队列 BMQ BMQ 架构 BMQ 容灾容错 BMQ 在字节的应 BMQ 的未来 Q&AKafka 时代-Kafka Cluster,To

2、pic,Partition,Offset Producer,Consumer Group Broker(Coordinator,Controller)ClusterTopic APartition 0Topic BPartition 01LeaderBroker A23Broker B12FollowerBroker C3Kafka 时代-Kafka 运维操作13LeaderBroker A23Broker B12FollowerBroker C重启替换13Broker A23Broker B12Broker C12Broker D扩容13Broker A23Broker B12Broker

3、C32Broker D13Broker A23Broker B12Broker C12缩容Kafka 时代-Kafka 负载均衡13Broker A24Broker B12Broker C43Broker D13Broker A24Broker B12Broker C43Broker D32负载均衡 需考虑存储空间、写吞吐及消费吞吐等 负载均衡需要 IO 开销 热点问题严重Kafka 时代-Kafka 故障恢复 单机故障1Broker A23Broker B12Broker C31Broker A23Broker B12Broker C3Kafka 时代-Kafka 故障恢复1Broker A

4、23Broker B12Broker C31Broker A23Broker B12Broker C3 多机故障Kafka 时代-Page Cache 不可控 业务穿透 Page Cache 后对磁盘冲击较 量 Cache Miss 后影响写流量Kafka 时代-结 运维操作耗时 负载均衡算法复杂，均衡代价，有 Partition 热点 缺少动的故障恢复段 重度依赖 Page Cache，同时影响读写 状态重，难以云原化录 Kafka 时代 新代消息队列 BMQ BMQ 架构 BMQ 容灾容错 BMQ 在字节的应 BMQ 的未来 Q&A新代消息队列 BMQ-架构 C+实现 避免 GC 问题 性

5、能 池化存储 慢节点处理 易扩展 兼容 Kafka 协议消费数据流消费位点提交/获取产数据流MetadataBMQProxyProxyProxyBrokerBrokerCoordinatorControllerByteDance HDFS/CFSMeta StorageBroker新代消息队列 BMQ-架构-Proxy 所有户请求 限流 处理 Metadata 请求 处理消费请求 转发产请求 Broker 转发 Consumer Group 相关请求 CoordinatorBMQProxyProxyProxyBrokerBrokerCoordinatorControllerByteDance

6、HDFSMeta StorageBroker新代消息队列 BMQ-架构-Broker 处理产请求 数据存储 数据索引更新 管理数据命周期 根据时间和限制删除过期数据BMQProxyProxyProxyBrokerBrokerCoordinatorControllerByteDance HDFSMeta StorageBroker新代消息队列 BMQ-架构-Controller 负载均衡 Admin 操作 健康检测BMQProxyProxyProxyBrokerBrokerCoordinatorControllerByteDance HDFSMeta StorageBroker新代消息队列 BM