【Memverge】CXL大内存技术加速AI场景初探.pdf

1、CXL大内存技术加速AI场景初探MemVerge2023.12目录 下一代数据中心基础设施架构 CXL内存互联协议介绍 CXL技术解决的问题 GISMO全局内存对象系统在AI场景的应用 GISMO与Alluxio联合解决方案构想下一代数据中心基础设施架构PART 1机房 A机柜A（计算POD)机柜B（计算POD)计算单元CPUGPUXPUCPUGPUXPU内存单元MemoryMemoryMemory高性能存储单元CXL计算单元内存单元MemoryMemoryMemory高性能存储单元RDMA机房B异地数据中心存储POD容量型存储备份存储跨机房：200/400GEthernet带宽型访问毫秒级时

2、延百us级时延公有云跨数据中心400/800G光网络专线CXL柜间RDMA 10us时延带宽型访问秒级时延趋势1：数据中心走向全Disaggregated架构CPUGPUXPUCPUGPUXPU柜内：LD/ST内存语义访问 1us时延趋势2：内存架构重演企业存储的池化和分布式共享之路Memory池化内存分布式内存服务CXLMemory Data ServicesDASSAN存储池分布式存储服务Fibre ChannelStorage Data ServicesCXL内存互联协议介绍PART 2CXL v1.1：服务器内PCI-E扩展HostDeviceCXL.ioCXL.cacheCXL.me

3、mCXL v2.0：内存设备池化H1H2H3H4H#D1D2D3D4D#H1H2H3H4H#D1D2D3D4D#With single logical devicesWith multiple logical devicesCXL SwitchCXL v3.0：多层交换机互联+多服务器CPU缓存一致性Spine switchesLeaf switchesEnd devicesAccelMemCPUGFAMGFAMGFAMNICNICNICInterconnected spine switch systemLeaf switch NIC enclosureLeaf switch CPU encl

4、osureLeaf switch accelerator enclosureLeaf switch memory enclosure基于CXL技术的产品成熟度现状和商用落地路标CXL1.1 单机内存扩展 单机最高8TB内存 商用：2023CXL 2.0 内存资源池化 独立于服务器的外置内存设备 容量按需弹性扩展至百TB级 商用：2024H2/2025H1CXL 3.0 内存数据共享 多机共享内存数据 多内存设备级联 商用：2026+CXL技术解决的问题PART 3CXL技术解决的问题1：如何成本可控地打破内存墙单物理CPU核数每核的内存通道带宽需要革命性改变的内存带宽扩展方案201220132

5、0142015201620172018201920202021增长速度（归一化后）43.532.521.51.50数据来源:Samsung内存带宽增长无法跟上算力的（后）摩尔定律CXL协议对内存带宽的提升通道数协议版本x1x2x4x8x16PCIe 1.x(2.5 GT/s)0.5 GB/s1 GB/s2 GB/s4 GB/s8 GB/sPCIe 2.x(5.0 GT/s)1 GB/s2 GB/s4 GB/s8 GB/s16 GB/sPCIe 3.x(8.0 GT/s)2 GB/s4 GB/s8 GB/s16 GB/s32 GB/sPCIe 4.x(16.0 GT/s)4 GB/s8 GB/s

6、16 GB/s32 GB/s64 GB/sPCIe 5.x(32.0 GT/s)8 GB/s16 GB/s32 GB/s64 GB/s128 GB/sPCIe 6.x(64.0 GT/s)16 GB/s32 GB/s64 GB/s128 GB/s256 GB/sPCIe 7.x(128.0 GT/s)32 GB/s64 GB/s128 GB/s256 GB/s512 GB/sTheoretical hardware performance.Actual results may vary.Source:https:/ I/O-free Shared Mem