Orchestration+Matters：PingCAP+在亚马逊云科技上构建高效能系统的思考和实践.pdf

1、 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。Orchestration MattersOrchestration MattersPingCAPPingCAP使用亚马逊云科技构建云服务的一些（省钱）经验黄东旭Cofounder&CTOPingCAP 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。云改变了什么？放弃掉你关于计算机体系结构的一些固有印象，如果你有：几乎无限的存储几乎无限的计算资源稳定而高性能的网络基础设施将其连接到一

2、起 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。但是这一切都是要$的 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。一个关于S3 DELETES3 DELETE的故事总所周知S3 的 DELETE 是免费的吗？2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。问：如何删除一个几百万个objectobject的S3S3 BucketBucket？符合直觉:for-loop delete 不好意思，你delete 的时候需要知道 key name而 LIST 是收钱的 2024,A

3、mazon Web Services,Inc.或其附属公司。保留所有权利。问：如何删除一个几百万个objectobject的S3S3 BucketBucket？免费的做法：S3 LifeCycle(LC)缺点：异步，你不知道啥时候能回收完 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。云改变了什么？同样一件事情，有 N 种做法，在传统的软件工程中，基本只关乎效率而在云上还关乎金钱如何高效（同时还省钱）的用好云？2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。一些例子 2024,Amazon Web Services,

4、Inc.或其附属公司。保留所有权利。存储是等价的吗？（在云上）2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。云原生存储原生在哪？举个例子：重新思考 LSM-Tree 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。LSMLSM-TreeTree有啥问题？写放大Compaction 会争抢 IO 和 CPU 资源单机存储引擎，没有任何扩展性和高可用的考量 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。分布式LSMLSM-TreeTree的例子：TiKVTiKV 2024,Amaz

5、on Web Services,Inc.或其附属公司。保留所有权利。更进一步：2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。LSMLSM-TreeTree有啥问题？将数据存储在位于三个可用区的 EBS 中可能导致高网络成本在每个实例上单独压缩 SSTables 会导致高CPU成本缓慢的数据迁移导致扩展/缩减效率低下和低弹性由压缩/垃圾回收/快照引起的性能波动大量的分片将导致高心跳成本在更好的查询计划和可预测的性能之间存在一个困难的权衡 2024,Amazon Web Services,Inc.或其附属公司。保留所有权利。面向云设计的存储引擎是什么样子？2

6、024,Amazon Web Services,Inc.或其附属公司。保留所有权利。我们有哪些选项？StorageOptionStorageCostStorage LimitDurabilityLatencyRequest CostObject Storage(e.g.,S3)LowLowUnlimitedUnlimitedHighHighHighHighBlock Storage(e.g.,EBS)HighLimitedLowLowLowNoneNoneLocala DiskFreeVery LimitedVery LowVery LowNone 2024,Amazon Web Servic