余锋（褚霸）-从云原生到 AI 原生：模型引发的新一代基础设施构建.pdf

1、从云原生到 AI 原生:模型引发的新一代基础设施构建余锋（褚霸）目录0105020403背景：基础设施技术的演进展望：从“通算+智算”向通智一体的演进新时代的应用：模型成为新的数据库模型为中心的基础设施AI 中间件：Agent 基础设施01基础设施技术的演进软件管理全局的软件部署配置管理：Puppet,Chef,Salt,Ansible集群API化管理硬件资源，特别是借助Terraform 类的工具，可以软件管理云上资源云基础设施：OpenStack,CloudStack,Eucalyptus虚拟化基础系统运行、隔离性、软硬件解耦Xen,KVMOSLinux软件定义基础设施之始：虚拟化与云计算

2、过渡：前容器时代的云原生应用代码（应用代码（CI/CI/打包）打包）Puppet/Chef/Puppet/Chef/TerraformTerraform定制镜像定制镜像各种软件包各种软件包存储存储基础镜像基础镜像其他软件包其他软件包容器是标准运行时环境对代码运行（OS）容器是统一、标准、一致的环境对开发与构建、测试容器是基本的应用编排单元和资源调度单位对于编排和调度容器是标准化分发载体，类似于软件包对于分发R容器一个理想的解耦点OBS容器与云原生：应用为中心云原生：良好架构带来的生态繁荣https:/cf.io小结：基础设施的演化方向性能与效率适应负载变化应对环境的不稳定性和风险降低运维复杂度

3、 直至免运维02模型成为新的数据库GenAI 时代的应用GenAI 之前的（互联网）应用 PatternLAMP 的演进之路数据库是应用系统的核心大规模分布式数据库、数据中间件等，帮助构建高性能大规模应用。数据库是核心的应用基础设施。面向互联网规模的复杂应用消息队列、服务发现、RPC、应用框架等（Spring），用于构建大规模并行应用；云原生时代，引入了 ServiceMesh（istio）、AppRuntime（dapr），将应用和应用基础设施解耦。数据计算链路在线服务之外，服务过程产生的数据，会进入数据计算链路，进行离线或实时计算，构成数据驱动的应用。大模型引领的大爆发（模型）https:

4、/ Agent 的财报解读应用（例中应用基于AgentUniverse 框架构建）越来越多的应用，使用模型生成的内容来服务用户，而不是基于数据库来生成内容。GenAI 时代的大模型正在充当 Web 2.0时代的数据库的生态位，这会对基础设施需要满足的需求，和它的架构带来很多变化。03模型为中心的基础设施模型带来的架构演进：后云原生时代的超级计算并行计算再次伟大并行计算再次伟大大模型的训练和推理都高计算量都超越了节点边界，不论是训练，还是大参数量模型的推理，都需要跨越传统节点的边界不再不再以以CPUCPU 为唯一中心为唯一中心GPU 的算力密度更高，访问显存速度更快，更大量的计算和计算成本都在

5、GPU上，GPU的效率成为设计的核心考量新的参数面网络新的参数面网络在计算、存储、管理网之外，引入了新的高速参数面网络，相应地，围绕参数面网络和 GPU的优化成为了调度的重要约束重新定义节点边界重新定义节点边界通过参数面网络访问其他卡上的显存的时延，已经低于通过 PCIE 访问主存，什么才是本地，以及节点的边界，这个架构概念已经发生了动摇开源模型推理引擎 vLLM和 SGLang快速崛起两个项目成长迅速，不仅性能竞赛一直在持续，而且都有上千开发者，开发速度都很快，大量的 Issue 会在几个小时内就得到响应。任何单一一家公司都很难跟上社区的脚步。模型的优化部署与服务模型的规模化服务，以开源的蚂

6、蚁 AIGW+Mooncake 为例大模型应用的请求与数据库应用的模式不同，每个请求的计算消耗量大，且请求之间差异很大，需要整个基础设施的系统化适应和改进，而不仅是推理引擎本身的优化。LLM-d 等项目同样是在处理这个系统问题。更进一步，从云原生到 AI 原生，从应用为中心到模型为中心From CNCF Sandbox Project ModelPack（https:/ 基础设施AI 应用的基础设施Agent 领域开源项目的活跃度趋势同样，模型训练也在引入 Agentic RL以 inclusionAI/AReaL