开源大模型在亚马逊云科技上的部署和微调优化实践.pdf

1、 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。开源大模型在亚马逊云科技上的部署和微调优化实践黄浩文B O A 4 0 2B O A 4 0 2资深开发者布道师亚马逊云科技 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。1.大型语言模型（LLM）优化概述快速上手优化：Amazon Bedrock 和 Amazon SageMaker JumpStart可用性优化：大型模型推理（LMI）容器吞吐量优化:Rolling Batch/P

2、agedAttention/FlashAttention/GQA2.利用 Amazon SageMaker 部署开源大模型实践#1：在 LMI 中利用 DeepSpeed 部署 Llama 70B 模型3.利用 Amazon SageMaker 微调开源大模型实践#2：利用 LoRA 和 FSDP 微调 Llama 7B 模型议程安排 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。开源大型语言模型优化概述 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。大型语言模型优化面临的挑战使 用L L A M AL L A M

3、 A-3 7 0 B 3 7 0 B 模 型 的 推 理 场 景模型大小=参数（700700亿）x 4x 4个字节（FP32FP32）=280 GB280 GBLlama-3 70B初始权重(FP32)FP32)280GB额外显存开销注意力缓存+Token 生成内存*10-20 GB*所需的内存取决于输入/输出序列长度、解码策略、模型架构和批次样本数量大小比较：FP 16=FP 32BF 16=FP 32INT 8=FP 32 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。Llama-3-70B300 GB24GB设备0 显存不足ml.g5.48xlar

4、ge 192GB模型（FP32）24GB设备3 24GB设备1 24GB设备6 24GB设备5 24GB设备4 24GB设备2 24GB设备7 大型语言模型优化面临的挑战托 管 L L A M AL L A M A-3 7 0 B 3 7 0 B 模 型 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。量 化（权 重 与 计 算）Llama-370B140 GBLlama-3-70B280 GB模型-FP32模型FP16/BF16ml.g5.48xlarge 192GB量化显存不足数据类型：Float 16Float 16、BFloatBFloat 161

5、6、Float 8(E4M3)Float 8(E4M3)、Integer 8Integer 8、Float 4Float 4、归一化Float 4Float 424GB设备0 24GB设备3 24GB设备1 24GB设备6 24GB设备5 24GB设备4 24GB设备2 24GB设备7 优化：模型压缩 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。大型语言模型（LLMsLLMs）优化技术概览模型编译（N Neuroneuron、DeepSpeedDeepSpeed、FTFT、HFHF、PagedAttentionPagedAttention）模型压缩(D

6、eepSpeedDeepSpeed、FTFT、HFHF)大型语言模型优化技术概览量化（DeepSpeedDeepSpeed、FTFT、HFHF、GPTQGPTQ）蒸馏（SageMakerSageMaker、HFHF）剪枝(DeepSpeedDeepSpeed、HFHF)精度：性能：精度：性能：精度：性能：精度：性能：模型分区（NeuronNeuron、DeepSpeedDeepSpeed、FTFT、HFHF）精度无损失/最佳性能精度下降HF=Hugging Face训练后训练中/训练后训练后训练中提前/运行时分区提示工程部署后提前编译等批处理（vLLMvLLM、连续、动态）部署后FT=Fast