陈琛-vivo多云管理平台建设实践（对外版）.pdf

1、vivo多云管理平台建设实践vivo高级研发经理 陈琛陈琛2018年加入vivo，经历多个平台从0到1的建设，目前负责vivo云平台、数据库存储管理平台等项目和研发团队vivo高级研发经理PART ONE01vivo多云管理平台建设背景PART TWO02vivo多云管理平台最佳实践PART THREE03未来展望目录/CONTENTPART ONE01.vivo互联网业务规模 vivo互联网资源规模 业务高速发展带来的挑战vivo多云管理平台建设背景vivo多云管理平台建设背景vivo互联网业务规模（公开数据，历史最高）在网总用户（不含外销）3亿 项目数量 1800+服务数量 10000+应

2、用商店应用商店累积分发 1.5万亿月活用户 2.5亿游戏中心日活用户 1082万月活用户 9818万浏览器日活用户 8210万月活用户 2.5亿vivo多云管理平台建设背景vivo互联网资源规模服务器规模 增长40+倍物理服务器数据库实例规模 增长56倍数据库服务器规模 增长7.4倍数据库数据库实例部署密度 增加7.6倍人均运维数据库实例规模 增加25倍vivo多云管理平台建设背景业务高速发展带来的挑战资源管理与成本管控 平台资源覆盖范围有限云上云下没有统一纳管资产数据准确性不高生命周期管理流程不闭环资源缺乏考核和度量预算缺乏有效控制共享资源缺乏分摊规则交付与变更效率 资源采购和交付周期长 自

3、动化率不高 变更缺少管控 缺少场景化支撑能力可用性与质量感知 缺少有效度量 故障感知方法单一 问题定位时间长 故障自愈能力缺失PART TWO02.业务架构 系统架构 平台实践vivo多云管理平台最佳实践vivo多云管理平台最佳实践业务架构vivo多云管理平台最佳实践系统架构统一平台统一入口资源管理计算资源数据库存储工具CICD作业变更监控中间件资源运营预算采购交付账单系统vivo多云管理平台最佳实践资源云化和运营管理IaaSIaaSvivo多云管理平台最佳实践CICD核心流程项目管理平台持续部署CD开发环境测试环境压测环境预发环境生产环境线下包仓库线上包仓库配置中心日志中心监控中心运维中心云

4、基础服务持续集成CI认领需求提交代码执行构建执行部署持续监控自助运维触发执行拉取代码推送制品拉取制品拉取制品制品晋级需求管理vivo多云管理平台最佳实践全球化部署测试2机房测试1机房Artifactorygitlab生产机房公有云-香港gerritArtifactory全球代理Proxy+CDN加速Redis某国1某国2某国3其它ArtifactoryArtifactoryArtifactoryArtifactory云主机虚拟主机混合云主机云主机混合云主机2G专线vivoops-civivoops-cdspinnaker-gatespinnaker-front50spinnaker-echos

5、pinnaker-orcavivoops-uploadvivoops-uploadvivoops-uploadvivoops-uploadvivoops-uploadvivoops-cdvivoops-cdvivoops-cdvivoops-cd国内国外vivo多云管理平台最佳实践CICD系统架构基于Jenkins和Spinnaker自研月均构建10W+10W+vivo多云管理平台最佳实践Spinnaker流水线优化startFind imageFrom TestDestroy old PRODDeployCanaryCutoverManualapprovalDeploy PROD(red/b

6、lack)Tear DownCANARYWait 30minsWait 2hrs原生性能问题内存消耗过大，100以上Stage内存占用超过80%以上Full GC频繁，CPU经常被打满原生使用方式优化后使用方式开始机器1机器2机器3暂停机器5机器4等待10s机器6升级&改造Spinnaker源码升级Pipeline、Stage、Task查询接口增加Task重试机制扩展存储引擎vivo多云管理平台最佳实践运维自动化提升运维自动化率上线10+平台和子系统DNSVUACDNNGINXLVSNAT作业平台运维编排公共服务vivo多云管理平台最佳实践成本分摊18资