如何利用AmazonEKS高效运行数据工作负载.pdf

1、 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。如何利用AmazonAmazon EKS EKS 高效运行数据工作负载杨冬冬高级容器解决方案架构师亚马逊云科技王养浩产品经理RisingWave Labs 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。在Kubernetes Kubernetes 上运行数据负载Custom Resource Custom Resource DefinitionDefinitionCSI Driver

2、CSI Driver2015201520212021202320232017201720192019GPU OperatorGPU Operator50%50%运行分析,AI/ML,数据库*3939%选择 Amazon EKS6 60%0%Spark on Kubernetes*CNCF 500公司管理层*Pepperdata 600 受访人员 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。采用 AmazonAmazon Graviton Graviton 获取高性价比计算与基础设施最佳实践JDKJDK 1111+SparkSpark获得高达 58%性价

3、比提升建议采用多架构以提升系统可靠性*https:/ PoC,比如 trino选择合适的 JDK 版本 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。采用不可变容器化操作系统BottlerocketBottlerocket计算与基础设施最佳实践 最小化 安全更新 聚焦安全Bottlerocket OSKernelsystemdhost-containerdkubeletcontainerdData podsssh/ssm podswickedglibc只包含运行容器必备的软件包不可变基于 image 进行原子更新支持回滚和 K8s operatorSEL

4、inuxRead-only/dm-verity专为数据工作负载打造的容器化操作系统 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。BottlerocketBottlerocket 镜像缓存计算与基础设施最佳实践SnapshotOSVolumeAmazon ECRMulti-ArchImageEC2 instance contentsDataVolumeAmazon EKSBottlerocketBottlerocket123构建多架构镜像将镜像缓存到快照中启动 Bottlerocket 时指定快照AI/ML 场景等镜像大的场景加速 Pod 启动时间建议采

5、用多架构镜像使用 gp3 并提高吞吐和 IOPS 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。Amazon EBS Amazon EBS SparkSpark PVCPVC ReuseReuse存储最佳实践Spark 3.2 SPARK-35593 支持，Spark 3.4 提升当 Spot 中断时减少重算EBS CSI drive 提供完全支持结合 Karpenter 以获取更高的性能提升https:/ Web Services,Inc.或其附属公司。保留所有权利。KarpenterKarpenter演进-满足客户弹性需求弹性最佳实践 https:/

6、karpenter.sh/https:/karpenter.sh/V0.1.0Developer previewMay 24 2022V0.10.1Startup taintsApr 26 2022V0.9.0anti-affinityJun 22 2022V0.12.0awsnodetemplateawsnodetemplate crdcrdJun 28 2022V0.13.0Stop provision unnecessary resourcesDec 3 2022V0.19.3Support Spot INTSupport Spot INTAug 24 2022V0.16.0Weight