字节-刘立伟-字节跳动Sidecar应用运维管理实践.pdf

1、字节跳动字节跳动SidecarSidecar应用运维管理应用运维管理实践实践刘立伟刘立伟 字节跳动字节跳动/架构架构/研发研发工程师工程师个人简介个人简介毕业于哈尔滨工业大学，2016年毕业后加入字节跳动。曾负责字节动态配置中心、分布式ID生成器的研发工作。目前负责 ByteMesh 运维面，负责 ByteMesh、Sidecar 运维管理相关工作。刘立伟刘立伟字节跳动-基础架构-服务框架大纲大纲1.字节Sidecar应用场景介绍2.Sidecar架构的优势和挑战3.Sidecar大规模升级-思考4.Sidecar大规模升级-方案解析5.落地效果&下一步计划6.总结Part1：字节字节Side

2、carSidecar应用场景介绍应用场景介绍字节字节SidecarSidecar应用场景应用场景ServiceMeshServiceMesh能力下沉：治理、安全、服务发现维护成本低：多语言、升级字节字节SidecarSidecar应用场景应用场景ServiceMesh ServiceMesh 主路径插件主路径插件-分布式网关分布式网关延时低：ipc 请求 service隔离性好：单服务纬度，互不影响容量管理：服务自行扩容延时高：rpc 请求 service隔离性差：多服务共用，故障互相影响容量管理：大促扩容成本高AGWAGWNginxNginxServiceServiceServiceServ

3、icePodAPodBPodCNginxNginxPodBPodCAGWAGWServiceServiceAGWAGWServiceService字节字节SidecarSidecar应用场景应用场景ServiceMesh ServiceMesh 辅路径插件辅路径插件-风控风控SidecarSidecar能力下沉：风控逻辑维护成本低：多语言、升级业务接入：无感PodAMeshProxyMeshProxyServiceService风控SDK远程访问风控服务PodAMeshProxyMeshProxyServiceService风控Sidecar远程访问风控服务字节字节SidecarSidecar

4、应用场景应用场景中台中台SDKSDK：MQ SidecarMQ Sidecar功能优化：支持更多治理能力，配置动态更新维护成本低：多语言、升级PodAServiceServiceMQ SDKKafka/RocketMQ生产消费PodAServiceServiceMQ SDKKafka/RocketMQ生产消费MQ SidecarPart2：SidecarSidecar架构的优势和挑战架构的优势和挑战SidecarSidecar架构的架构的优势优势多语言维护多语言维护成本低成本低业务接入业务接入成本低成本低版本升级版本升级灵活、可控灵活、可控SidecarSidecar架构的挑战架构的挑战-升级

5、运维升级运维大大 规模3w+3w+服务400w+400w+实例 快快 不稳定慢慢 迭代慢，交付慢适中适中 兼顾：稳定性、效率升级速度升级速度升级运维挑战升级运维挑战-稳定性稳定性事故案例事故案例现象：Mesh更新版本，小流量升级后，很多服务CPU飙高原因：Mesh内部缓存淘汰机制逻辑问题，导致CPU飙高影响：某业务线关闭缓存淘汰开关的服务发现：用户反馈恢复：热升级回滚+批量迁实例改进：修复、增加监控、控制发版节奏P0P0升级运维挑战升级运维挑战-稳定性稳定性引发业务故障引发业务故障Bug，一把梭，SDK兼容问题问题发生问题发生没报警，异常版本扩散，回滚难止损难灰度发布灰度发布灰度不充分，验证漏

6、场景升级运维挑战升级运维挑战 -效率效率发布周期长发布周期长feature 搭车严重，紧急feature、缺陷过多频繁发版耗费人力耗费人力操作不自动化，召回版本、发修复版本麻烦1 1个大版本5 5个月发完，2525个小版本Part3：Sidecar大规模升级-思考SidecarSidecar大规模升级大规模升级 -思路思路变更安全变更安全变更效率变更效率变更变更安全安全问题一定存在！已知已知未知未知杜绝杜绝 已知问题拒绝：缺陷版本、不该升级的服务谨慎验证谨慎验证 未知问题早暴露，防扩散，减少影响面积极应对积极应对 已发生问题主动发现，阻断扩散，快速修复变