A2--何朝斌--百度云原生应用平台：AI时代的创新实践与效能提升.pdf

1、百度云原生应用平台：AI时代的创新实践与效能提升何朝斌百度Devops资深研发工程师何朝斌百度 资深研发工程师百度Devops资深研发工程师，目前主要负责百度CICD工具链、AI原生应用研发工具链等工具平台，提升百度各业务研发效能。推动百度应用平台从自研向docker、k8s等社区标准转型，探索大模型时代研发工具链的转变，保持devops工具链的先进性。毕业后曾就职于京东、百度，从事Devops、Paas和网络等平台的研发工作目录C O N T E N T S1.百度一站式云原生应用平台建设2.应用平台对AI应用的探索与实践3.AI赋能应用平台探索4.思考与展望百度一站式云原生应用平建设01百

2、度应用平台的历史与包袱业务尝试云原生改造基础设施与业界差异极大docker、k8s、helm/chart等相关学习成本高如何解决监控、日志、流量等关键问题？没有最佳实践使用云原生的业务少，基础架构升级几乎“锁死”百度在2013年左右开始自研容器，内部的基础设施、应用平台均基于这套容器平台建设人力更迭与投入等原因，维护升级困难与社区标准越来越远，日趋封闭内部技术无法对外赋能，外部技术引入困难重重传统的应用平台，更偏运维，对应用的全生命周期涉及较少缺少一套完整的解决方案和最佳实践，能够将应用升级至社区标准（docker/k8s）解决方案向开发者封装以应用为中心的一站式DevOps体验，包括CICD

3、和应用搭建基于社区标准的基础设施（K8S、CNCF软件生态）简化使用docker/k8s的成本，兼容百度内部基础设施，降低业务迁移成本应用模型和构建打包一个应用，主要包括了两个部分：应用代码和运行时配置（chart）打包：既把应用代码基于Dockerfile产生的镜像，和配置库里的应用运行配置，结合成为一个完整的helm/chart，供部署系统部署chart template：一组原生原生的helm/chart模板，用户不可见value template：helm/chart里的values文件，用户不可见app value file：基于value template复制的应用单独的一份val

4、ues文件，用户可见chart-tool：基于chart template、values文件以及应用的配置，打包生成一份标准的helm/chart包，供应用部署deploy：统一部署工具，提供多种部署方式（helm/chart、数据配送，扩缩容等）应用模型和构建打包chart template示例：app value file示例：部署策略与部署部署策略：决定机房间、机房内如何部署的规则内建CI构建从源码部署从二进制产出部署从镜像部署测试/生产一体化部署免写Dockerfile，内建各语言基础镜像分级发布流程多环境/多集群蓝绿/金丝雀分级发布部署分析人工审批/暂停/封禁环境与研发流程环境复用基

5、准环境：一套固定且完整的系统环境。特性环境：针对每个Feature进行测试、联调的需求，可以单独创建一套特性环境，特性环境中不会重新搭建系统中的全部模块，而是仅部署当前Feature本次变更的模块，而其他模块则直接复用基准环境中的其他模块即可。流量控制支持Mesh方式支持域名方式研发流水线内嵌研发流水线，支持CICD一站式全流程内嵌多种研发模式模板，自动从模板创建流水线支持多代码库的集成流水线应用平台对AI应用的探索与实践02GPU推理应用：镜像构建加速问题：相对于普通应用，GPU推理应用的镜像，通常有较大的cuda包、模型文件，这些文件，从几个G到几十个G甚至到几百个G，打包出一个镜像的时间

6、是越来越慢解法：通过对镜像构建过程耗时分析，总结出以下几个解法：1.镜像缓存：在镜像构建机器上，缓存常用基础镜像与软件包2.减少重复上传下载：编译完成后，直接拉取模型文件开始构建镜像，避免模型文件不必要的上传/下载3.计算串行改为并行：修改kaniko源码，制作layer从串行-并行，根据镜像中变更文件多少+大小进行自动分层，并行构建；替换构建集群底层sha256-simd库降低文件系统快照运算耗时（该库通过SIMD类的指令集SHA Ext/AVX2/AVX512等来实现对解压缩算法和摘要算法的加速4.支持对镜像指定压缩等级：对于大模型镜像，优先选择不压缩，减少一次压缩和sha256摘要计算5