1、1分布式异构智能算力的管理和调度技术分布式异构智能算力的管理和调度技术研究研究报告报告研究单位：研究单位：中国移动研究院、浪潮电子信息产业股份有限公司中国移动研究院、浪潮电子信息产业股份有限公司、新华三技术有限公司新华三技术有限公司完成日期：完成日期：2023 年年 12 月月2目录目录一、研究背景.3二、异构算力的发展和应用场景需求.4（一）异构算力的发展情况.4（二）异构算力的主要应用场景.7三、分布式异构算力管理和调度的关键技术能力.9（一）异构算力的虚拟化和池化.10（二）分布式异构算力的调度能力.13（三）分布式异构算力的度量和标识.16四、当前业界技术实现情况.17（一）中国移动智

2、算体系实现异构资源池化.18（二）浪潮 AIStation 平台实现异构资源管理调度.19（三）新华三傲飞平台实现异构资源管理调度.22五、总结与展望.24参考文档.263一、研究背景研究背景随着我国数字经济规模总量的不断攀升，实体经济、数字经济和信息服务的深度融合正加速产业数字化和数字产业化变革。算力作为承载信息数据的重要基础设施，已成为全社会数字化转型的重要基石。根据中国信息通信研究院最新发布的中国算力发展指数白皮书（2023 年）显示，至 2023 年我国智能算力规模达到 178.5EFlops，增速为 72%，在我国算力占比达 59%，成为算力快速增长的驱动力；据 IDC 等机构预测，

3、至 2025 年，新增数据量 180ZB，其中 80%的增长来自于文本、图片、语音、视频等非结构化的数据。随着人工智能、元宇宙、高性能计算等领域的发展，激发了更多智能数据处理的需求和场景，对新型智能算力的需求激增。本研究围绕典型智能计算应用对异构算力的协同及调度需求，研究泛在异构算力参与训练或推理过程的协同需求、调度需求，研究泛在异构算力参与训练或推理过程的协同需求，包括异构算力类型、规模要求、性能要求、网络要求、数据传输要求等，分析异构算力协同4的应用场景等特点，考虑同数据中心、跨数据中心、跨云边端多级、池化和非池化异构算力并存等各种场景下，算力协同的需求及可行性。研究分析异构算力资源分类整

4、合、池化重构和智能分配等技术方案。研究分布式异构算力资源管理技术方案，包括管理跨数据中心、边缘及端侧的 GPU、FPGA 等异构算力设备，已虚拟化或池化的异构硬件，研究对异构算力资源进行标识和监控的方案，对算力进行细力度切分供给的技术方案，研究对计算任务进行异构算力匹配和调度的技术方案。包括如何匹配差异化的计算任务到相应的异构算力节点，如何支持异构算力资源高效和细粒度分配，基于应用场景的负载差异性，建立面向多样化异构算力资源和上层多场景需求的多元异构算力统一调度架构，统一资源实时感知，抽象资源响应和应用调度。研究分布式 AI 框架支持分布式异构算力的管理和调度技术方案。二、异构算力的发展和应用

5、场景需求（一）异构算力的发展情况二、异构算力的发展和应用场景需求（一）异构算力的发展情况异构算力通常是指 CPU、GPU、FPGA、ASIC 等多种不同的算力处理体系，能够满足不同场景中的应用需求，实现计算效力最大化。异构算力通常以 AI 芯片的形态被集成在计算机中，AI 芯片是 AI 算力的核心基础设施之一。近年来，面向特定领域体系结构的定制化芯片也不断涌现，已成为 AI 算力发展的主流趋势。目前异构算力主要有以下类型：GPU：5英伟达 GPU 的发展可以追溯到 1999 年，当时英伟达发布了第一代 GPU 架构 GeForce 256，标志着 GPU 时代的开始。随后，英伟达的 GPU 架

6、构不断升级，从 TNT、Rage 到 Geforce 256，再到 Tesla、Fermi、Kepler、Maxwell 等。随着 GPU 技术的不断发展，英伟达的GPU 架构也不断升级，以适应日益增长的计算需求，GPU 架构也不断推动着图形渲染、人工智能和高性能计算等领域的发展。近年来，英伟达还发布了多款强大的 GPU 芯片，如 Turing、Ampere 等，这些芯片都具有高性能的计算能力，为各种应用提供了强大的计算支持。2022 年 3 月，英伟达推出了 HGX H100，拥有最高可达 18432 个 FP32（单精度）和 9216 个 FP64（双精度）的 CUDA核心，辅以 576