极客传媒：大模型分布式训练基础原理（24页）.pdf

1、大模型分布式训练基础原理百度智能云资深研发工程师 /张恒华百度百舸 AIAK 加速套件0101AIAK基础产品特性0202演演讲讲提提纲纲易用的产品使用方式0303Scaling Law：大模型训练需要足够的数据和算力模型演模型演进对进对 AI AI 基基础设础设施提出更高的需求施提出更高的需求模型演进：参数量越来越大模型Tokens训练卡数训练时长LLaMA-65B1.4万亿2048卡（A100-80G）21天GLM-130B4000亿768卡（A100-40G）60天BLOOM-176B3660亿384卡（A100-80G）105天稳定稳定高效高效敏捷敏捷挑战：机器规模大、训练周期长、资源

2、成本高昂模型能力与数据、参数、算力等正相关模型能力与数据、参数、算力等正相关基础设施基础设施高性能计算（A800、H800、昆仑）高性能存储（PFS、BOS、RapidFS）高速互联网络（NVLink，RDMA、VPC）百舸控制面百舸控制面控制台OpenAPISDK命令行工具配套服务配套服务Prometheus监控日志服务镜像服务账号&安全云原生云原生AIAI套件套件AIAI基础组件基础组件异构资源调度高性能存储插件高性能网络插件K8S内核AIAI编排调度编排调度深度学习框架AI 任务编排任务工作流管理稳定性稳定性&容错容错健康检测多维故障感知自动任务容错训练训练&推理加速（推理加速（AIAK

3、AIAK）模型训练加速模型推理加速模型生态适配百度百百度百舸舸AIAI异构计异构计算平台算平台基础设施基础设施高性能计算（A800、H800、昆仑）高性能存储（PFS、BOS、RapidFS）高速互联网络（NVLink，RDMA、VPC）百舸控制面百舸控制面控制台OpenAPISDK命令行工具配套服务配套服务Prometheus监控日志服务镜像服务账号&安全云原生云原生AIAI套件套件AIAI基础组件基础组件异构资源调度高性能存储插件高性能网络插件K8S内核AIAI编排调度编排调度深度学习框架AI 任务编排任务工作流管理稳定性稳定性&容错容错健康检测多维故障感知自动任务容错训练训练&推理加速（

4、推理加速（AIAKAIAK）模型训练加速模型推理加速模型生态适配百度百百度百舸舸AIAI异构计异构计算平台算平台AIAKAIAK 训练加速套件训练加速套件小模型：小模型：AIAK-TrainingAIAK-Training大模型：大模型：AIAK-Training-LLMAIAK-Training-LLMAIAK-TrainingAIAK-Training，加速常，加速常规规 CV/NLPCV/NLP 等小模型等小模型训练训练AIAK-Training 统一加速接口数据 IO 优化模型算子优化Loss 计算优化优化器加速AIAK 编译基础设施主流训练框架数据并行通信优化Swin-Lyolov7

5、CenterNetFCOS3DBEVFormer CenterPointPointPillarsTransFusion+81%+81%+54%+54%+119%+119%+88%+88%+49%+49%+391%+391%+117%+117%+142%+142%典型2D/3D/Lidar/融合等智驾CV 模型，加速 49%391%赋能智能驾驶场景客户用户自定义训练代码（模型组网+训练循环）几行代码插入 全链路加速 插件化安装ChatGPTChatGPT 引爆大引爆大语语言模型言模型发发展，模型生展，模型生态态爆爆发发参数量大于百亿的模型时间线参数量大于百亿的模型时间线开源模型为例：基于基座模型

6、，微调领域专用模型开源模型为例：基于基座模型，微调领域专用模型https:/arxiv.org/abs/2303.18223https:/arxiv.org/abs/2303.18223AIAK-Training-LLMAIAK-Training-LLM，加速主流，加速主流开开源大源大语语言模型言模型训练训练数据并行优化Tensor 并行优化Pipeline 并行优化Zero 通信优化低精度训练高性能融合算子优化器融合算子通信换显存策略重计算策略优化显存管理策略GPU训练能力增强：不同场景性能优化GQA/Alibi等 Layer模型TokenizerCheckpoint转换(HF、Megatr