百度智能云&度小满：2023智算中心网络架构白皮书（47页）.pdf

1、 智算中心网络架构白皮书百度智能云度小满百度智能云编写组李兆彤 史 磊 周 磊李兆耕 包贵新 田晓利李玉双 谢伟光 陈 宁刘 楠 马建英 杨 正吉 靖 万芳芳 缪 懋魏 谦 孙 鹏 甄浩洋邱帅兵 多杰伦珠 王俊涵高 飞 李书坤 章琬晨徐 浩 姜 涛 敖玉龙张向辉 度小满编写组苏 阳 张伟建 朱凤元张 一 杜 侃 汪宁瀚胡东旭王佩龙 宋 飞 崔永新陈存利合作单位:联 合 编 写 组:专家指导委员会:主编单位:引言随着 AI 技术的逐步成熟和应用场景的不断丰富，人工智能产业正在迅速发展，AI 相关的产品与服务也在各行业中落地和普及。企业通过人工智能技术提高生产力，进行数字智能化新范式转型的需求也更

2、加迫切。人工智能技术目前已被广泛应用于智慧金融、智能家居、智能医疗、智能交通、智能制造等领域。大模型技术因其良好的通用性与泛化性，显著降低了人工智能应用的门槛，其溢出效应正在加速推进新一轮的科技革命和社会产业的变革。近期，ChatGPT、文心一言等生成式人工智能应用的出现，使大模型的发展成为 AI 领域最重要的热点趋势，越来越多的科技巨头竞相推出千亿、万亿参数的大模型。而训练超大参数规模的大模型也给智能计算基础设施带来了前所未有的挑战。大模型的训练过程需要数千张 GPU 卡协同计算数周或数月，这就要求智能计算网络能够提供更强大的性能和更高的稳定性与可靠性。因此，提供一种高速、低延迟且可扩展的网

3、络互联方案成为了智能计算领域的重要课题。通常，大中型政务、金融及企业客户对网络安全与数据隐私保护有着更严格的要求，需要通过私有云建设模式在自有数据中心中构建自主可控的智能计算资源池，为人工智能的创新服务提供底层算力支持。智算网络作为智算中心基础设施的重要组成部分，其选型、设计和建设方案是非常关键的环节，网络架构设计的合理性直接影响智算集群的性能、可靠性与稳定性。智算网络的选型和建设阶段的典型问题包括：1.智算网络是复用当前的 TCP/IP 通用网络的基础设施，还是新建一张专用的高性能网络？2.智算网络技术方案采用 InfiniBand 还是 RoCE？3.智算网络如何进行运维和管理？4.智算网

4、络是否具备多租户隔离能力以实现对内和对外的运营？本白皮书将分析智算业务对网络的核心需求，深入介绍智算网络的架构设计以及智算中心高性能网络的运维和运营管理方案，并结合典型实践，提供智算网络选型建议，为客户建设面向大模型的智算中心提供网络建设、运维和运营参考。智算中心网络架构白皮书目录CONTENTS智算业务对网络的核心需求01031.1 智算业务关键应用场景和案例 1.2 智算业务对网络的关键要求01智算网络方案选型0712172.1 InfiniBand网络介绍2.2 RoCEv2网络介绍2.3 InfiniBand和RoCEv2网络 方案对比02物理网络架构设计19 2022253.1 传统

5、云网络架构承载智算业务存 在的挑战 3.2 智算网络架构3.3 智算网络可容纳的GPU卡的规模 3.4 物理网络设计典型实践03智算高性能网络运维管理4.1 可视化网管系统4.2 高精度流量采集4.3 数据可视化展示4.4 智能化4.5 高性能网络运维典型实践293132333304 智算高性能网络运营管理 5.1 云平台产品化的多租户能力AI-VPC5.2 InfiniBand网络的多租户方案5.3 RoCE网络的多租户方案5.4 通过RDMA网络提供公共服务5.5 高性能网络运营典型实践353637383805总结和展望总结和展望 推荐阅读4041066智算中心网络架构白皮书01 智算业务

6、对网络的核心需求101智算业务对网络的核心需求 1.1 智算业务关键应用场景和案例智能计算是指利用人工智能技术和算法，对海量数据进行分析、处理和挖掘。智能计算已广泛应用于自然语言处理、图像识别、预测分析、金融科技和自动驾驶等场景。基于大模型在自然语言处理领域的出色能力，智能计算为机器翻译、文本分类、文本总结、文本创作、搜索助手、辅助编程、图像视频创作等应用场景提供强有力的技术支持。智能计算已成为帮助企业提高效率、降低成本、打造核心竞争力所不可或缺的技术能力，其在金融和汽车行业的应用已经非常成熟。例如：在金融行业：智能计算应用于风险管理和控制，辅助量化交易、信用评估以及趋势预测，帮助金融机构做出