A1--吕江昭--OPPO多云管理实践.pdf

1、OPPO多云管理实践吕江昭 OPPO高级架构师吕江昭OPPO高级架构师毕业于东南大学控制理论与控制工程专业，2019年加入OPPO，担任高级后端工程师，拥有多年云计算领域工作经验，先后经历京东超大规模容器集群、OPPO大规模全球混合云的开发建设和维护。目前在OPPO云数中心负责大规模容器集群的编排调度、大数据机器学习云上架构迭代等方向工作。01020304混合云平台：多云融合的基石弹性调度：优化资源利用成本管理：实现成本效益最大化未来展望混合云平台：多云融合的基石业务用云需求和痛点全球各区域发布流程和平台不统一，效率低下不同云厂商资源异构，运维管理复杂，交付周期长切换云厂商难度大，各业务适配工

2、作量大云成本难以控制，成本分析和优化困难安全和合规风险增加多云平台的设计初衷多云能力全球支撑：支持业务的全球化扩展敏捷建设：支持资源、平台的快速交付成本管控：支持规模化后的私有云部署灵活选择：根据战略需要选择合作供应商区域合规：支持安全合规的要求多云平台的设计目标全球发布，一致体验对于业务可以通过多云平台发布到全球区域，并具有一致的使用体验。多云支持，统一管理支持包括私有云以及主流的公有云厂家，并通过统一的平台进行管理。多云平台的设计原则业务接入标准统一，资源管理标准化，监控和运维标准化。标准统一技术可控自主控制云资源和数据，灵活选择技术栈，避免供应商锁定。快速适配采用模块化设计，支持快速开发

3、适配不同云服务提供商的API和资源模型。架构简洁避免不必要的复杂性，提高系统可维护性和可扩展性，降低开发运营成本。多云平台的设计理念IDC公有云广应用宽底座生态合作伙伴云空间厚平台多云管理平台可观测智能运维边缘计算微服务/服务治理内外部开发者计算存储网络中间件数据库垂直云多云平台基础设施视频云游戏云研发云大数据云AI云企业IT云快应用云金融云IoT云C端用户多云平台的技术架构运维基础设施混合云平台云账单资源大盘日志服务自有IDC公有云裸金属DNSDPVS机房网络虚拟机DNS负载均衡VPC平台基础Kubernetes(OKE)容器网络(NetHouse)对象存储(CubeFS)镜像中心注册中心接

4、入层管理云调度CMDBCI/CD中间件/数据库安全大数据代码管理发布单持续集成持续部署服务管理配置中心RedisMongoDBRocketMQMySQLKafkaZookeeper安全密钥安全网关动态防火墙FlinkYarnClickHouseHbase数据湖Hive机器学习云训练模型管理模型部署平台运维云监控灾难管理质量管理告警系统时序数据库适配不同公有云厂商公有云规划专线打通接入层适配主机接口适配VPC网络适配多云多集群联邦控制面和数据面分离：控制集群：保存元数据，要做到数据集群管理上失联不影响业务运行数据集群：调度业务容器，每个集群自闭环链路分离：指令链路：有关部署调度相关指令下发，状态

5、汇聚查询链路：查询元数据，pod等多云多集群联邦无状态业务：采用单层operator架构 or 双层operator架构 业务不感知member集群，联邦负责维护集群分发调度策略、副本拆分策略、注入/覆写元数据、状态汇聚有状态业务：采用双层operator架构上层operator负责拓扑编排和副本拆分，下层operator负责启动并管理负载，以及协调实例间通信弹性调度：优化资源利用多云的统一调度虚拟机管理平台kubevirt计算网络存储自有IDC公有云虚拟机OS内核容器NLBIB网络DPDK文件存储块存储对象存储OPPO Kubernetes Engine(OKE)域名解析VPC虚拟网络sGP

6、UGPU编排域名编排管理准入服务管理自动注册管理固定ip管理配额管理无状态服务弹性伸缩框架HPC调度仿真云编译云批调度互联网/IT业务机器学习大数据yarn-operatortrino-operatorspark-operatorflink-operator云数融合调度多元策略调度统一算力调度异构资源调度编译任务仿真计算任务有状态服务无状态服务StarfireMLOps可观测服务数据库API网关中间件准入服务管理有状态服务弹性调度的场景虚拟机管理平台kubevirt计算网络存储自有IDC公有云虚拟机OS内核容器NLBIB网络DPDK文件存储块存储对象存储OPPO Kubernetes Engi