亚马逊云科技自研+AI+芯片-加速推理训练.pdf

1、 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。?AI?-?张铮（ZhengZheng ZhangZhang）加速计算产品解决方案架构师亚马逊云科技刘之岳（LozenLozen LiuLiu）工程总监Vyond 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。?AI?AI?-?Neuron SDK?2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。让我们从 AI AI 芯片说起 2024,Amaz

2、on Web Services,Inc.或其附属公司。保留所有权利。亚马逊云科技制造AIAI芯片的核心理念易用性成本与性价比可移植性 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。构建规模化的硬件基础设施集成电路设计服务器机架/机柜/数据中心 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。?AI?AI?AmazonAmazon InferentiaInferentia?DL?Amazon?EC2?70%AmazonAmazon Inferentia2Inferentia2LLMs?diffusion?Amazon?

3、EC2?40%AmazonAmazon TrainiumTrainiumLLMs?diffusion?Amazon?EC2?50%2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。Amazon?EC2?Inf1/2?Amazon?EC2?Inf1/2?Trn1?Trn1?2323?俄勒冈加拿大西部（即将推出）加利福尼亚北部Amazon GovCloud（美国西部）弗吉尼亚北部俄亥俄加拿大中部Amazon GovCloud（美国东部）圣保罗开普敦斯德哥尔摩伦敦爱尔兰巴黎法兰克福苏黎世米兰西班牙以色列（即将推出）巴林阿拉伯联合酋长国孟买海得拉巴泰国（即将推出）新

4、加坡雅加达奥克兰（即将推出）悉尼墨尔本（即将推出）宁夏北京香港特别行政区首尔大阪东京 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。Amazon?Amazon?TrainiumTrainium?BF16/FP16FP32760?TFLOPSTF323?PFLOPS3?PFLOPS?512?GB?13.1?TB/?EFA?800/1600?GbpsNeuron-Core?v2?Neuron-Link?v2?TrainiumTrainium?Trn1(n)Trn1(n)?Trainium?HBM2E?PCIe?NeuronLink-v2NeuronLink-

5、v2HBM2ENeuronCore-v2?SRAM?GPSIMD?DMADMADMA?NeuronLink-v2NeuronLink-v2DMADMADMADMANeuronCore-v2?SRAM?GPSIMD?2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。Amazon?Inferentia2Amazon?Inferentia2?BF16/FP16INT84.6?petaOPS2.3?PFLOPS?384?GB?100?GbpsNEURONCORE?V2NEURONLINK?V2?PyTorch?TensorFlow?Inferentia2?Infer

6、entia2?Inf2Inf2?Inferentia2?HBM?PCIe?HBMNeuronCore-v2?SRAM?GPSIMD?DMADMADMA?NeuronLink-v2NeuronLink-v2DMADMADMADMANeuronCore-v2?SRAM?GPSIMD?2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。软件 Neuron SDKNeuron SDK 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。SageMakerJumpStartNeuron SDKNeuron SDKAmazon 深度学习机