1、1网络级 DMA 技术需求白皮书ODCC-2023-0500C编号 ODCC-2023-0500C网络级 DMA 技术需求白皮书开放数据中心委员会2023-09 发布I网络级 DMA 技术需求白皮书ODCC-2023-0500C版权声明版权声明ODCC（开放数据中心委员会）发布的各项成果，受著作权法保护，编制单位共同享有著作权。转载、摘编或利用其它方式使用 ODCC 成果中的文字或者观点的，应注明来源：“开放数据中心委员会 ODCC”。对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC 及有关单位将追究其法律责任，感谢各单位的配合与支持。II网络级

2、 DMA 技术需求白皮书ODCC-2023-0500C编写组编写组项目经理：项目经理：吕云屏华为技术有限公司工作组长：工作组长：郭亮中国信息通信研究院贡献专家：贡献专家：吴美希中国信息通信研究院温小振中国信息通信研究院王瑞雪中国移动研究院秦凤伟中国移动研究院盛曦珠海星云智联科技有限公司唐毓虎珠海星云智联科技有限公司黄楚生珠海星云智联科技有限公司王军珠海星云智联科技有限公司何宗应Broadcom Inc成伟苏州盛科通信股份有限公司王俊杰苏州盛科通信股份有限公司张君逸华为技术有限公司王巧灵华为技术有限公司庄艳华为技术有限公司III网络级 DMA 技术需求白皮书ODCC-2023-0500C前前 言

3、言数字化经济时代，全球算力需求急剧增加，算力系统的军备竞争也日益激烈。算力已不仅是一个技术维度的概念，更成为了一种全新的社会生产力，对整个经济社会发挥着越来越重要的作用。HPC超算系统的算力几乎按照摩尔定律在提升，从 G 级到现在的 E级，并正在向 10E级演进。AI智算系统在大模型的应用激发下，需要具备千亿甚至万亿、百万亿的参数量处理能力。单个计算机或服务器的处理能力已远远不能满足计算任务的要求，需要在数据中心中部署高性能分布式系统，突破单机算力和存储的限制，提供高并发高可用的计算服务。随着算力需求的增长，分布式系统规模同步扩张，以承载起大规模算力任务的需求。集合通信被广泛应用于分布式计算/

4、存储系统，应用通过调用集合通信推进计算任务，因此通信的完成效率决定了分布式系统整体的性能上限。集合通信中除了一对一的通信模式外，还包含大量的多对多通信模式，如 AI中常见的 AllReduce、HPC中调用的 Bcast。而业界主流的实现是使用点对点传输，如 RDMARC模式，来完成多对多集合通信，这必然带来系统资源浪费、通信性能下降的问题，尤其是在分布式系统通信规模日益扩大的情况下，点对点传输的可扩展性缺陷更加凸显。因此，亟需改进现有支持集合通信的传输机制，从而最优化集合通信效率，提升分布式系统性能。IV网络级 DMA 技术需求白皮书ODCC-2023-0500C本研究报告在分析了分布式系统

5、中集合通信特征的基础上，列举了当前业界主要的技术路线以及在大规模系统中面对的关键挑战，提出了面向集合通信的原生传输框架网络级 DMA（NDMA）。相对于服务器内 DMA 技术、本地和远程服务器间 RDMA技术，NDMA着重于面向网络中的一组节点进行内存直读、直写操作，通过端网协同机制，将应用的通信逻辑下沉到网络，最优化分布式系统传输性能，在 HPC/AI/存储等多种分布式系统场景都具备明确的应用价值。V网络级 DMA 技术需求白皮书ODCC-2023-0500C目目 录录版权声明.I编写组.II前 言.III一、高性能分布式系统承载大规模算力需求.1（一）全球算力高速增长.1（二）分布式系统承

6、载大规模高复杂度算力任务.2（三）通信效率影响分布式系统性能.4二、分布式系统以多对多集合通信为主.4（一）什么是集合通信及其原语.5（二）分布式系统中集合通信的调用.6三、大规模集合通信面临性能挑战.6（一）集合通信实现现状.7（二）高性能传输协议的发展及其挑战.8（三）在网计算的发展及其挑战.11四、NDMA应对大规模集合通信需求.14（一）NDMA概念.14（二）NDMA的基本模式和应用价值.151.网络组播及典型应用.152.网络聚播及典型应用.163.网络任播及典型应用.18（三）NDMA技术架构.201.整体框架.20VI网络级 DMA 技术需求白皮书ODCC-2023-0500C