通过+GPU+实例和大规模集群构建前沿生成式+AI+应用.pdf

1、 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。通过GPUGPU实例和大规模集群构建前沿生成式AIAI应用黄冰瑒C M P 2 0 8C M P 2 0 8女士资深产品经理亚马逊云科技赵彬先生无限光年创新业务负责人 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。1.人工智能/机器学习发展趋势2.面向人工智能/机器学习的 Amazon EC2 实例3.人工智能/机器学习工作负载映射议程 2024,Amazon Web Service

2、s,Inc.或其附属公司。保留所有权利。人工智能/机器学习发展趋势 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。人工智能/机器学习创新趋势开源的势头业界提供开源预训练模型的势头日益强劲使用预训练的基础模型更快地解决问题数据科学家不再需要从头开始训练模型大型语言模型的增长基于 Transformer 架构的大型语言模型(LLM)的快速增长 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。关键客户需求性能成本能效易用性可扩展性 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。关键客

3、户需求性能成本加快训练时间，减少推理延迟能效易用性可扩展性 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。关键客户需求性能成本优化训练成本和每美元的推理吞吐量能效易用性可扩展性 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。关键客户需求性能成本集群训练基础设施和全球推理足迹能效易用性可扩展性 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。关键客户需求性能成本与 PyTorch、JAX、TensorFlow 等框架无缝集成能效易用性可扩展性 2024,Amazon Web Se

4、rvices,Inc.或其附属公司。保留所有权利。关键客户需求性能成本优化效能功耗比能效易用性可扩展性 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。面向人工智能/机器学习的Amazon EC2 Amazon EC2 实例 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。亚马逊云科技人工智能/机器学习基础设施机器学习框架和开源编排EC2 EC2 实例Trn1(n)Inf2DL1Amazon EKSAmazon ECSAmazon BatchAmazon ParallelClusterPyTorchTensorFlow

5、Hugging FaceOpenXLAInf1P5P4de*P3G5g存储/网络Amazon EFSAmazon S3Amazon FSx for LustreEFAP4dG4dn机器学习框架和基础设施Trainium 加速器Inferentia 加速器Amazon Graviton 处理器H100,A100,V100 GPU A10G,T4 GPUGaudi 加速器Radeon Pro V520 GPUXilinx 加速器Xilinx FPGA*PreviewG5DL2qAI 100 加速器 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。面向人工智能/

6、机器学习的Amazon EC2 GPU Amazon EC2 GPU 实例P5P5P4d/P4deP4d/P4deG5G5G6G6NVIDIA H100NVIDIA A100NVIDIA A10GNVIDIA L48,000 TFLOPs2,496 TFLOPs最高可达 560 TOPs最高可达 485 TOPs640 GB HBM3320/640 GB HBM2最高可达 192 GDDR6最高可达 192 GDDR63,200 Gbps 的 EFA 网络连接速率400 Gbps 的 EFA 网络连接速率最高可达 100 Gbps 的EFA 网络连接最高可达 100 Gbps的EFA 网络连接