李昕龙-云原生数据库TDSQL-C内核演进实践（13页）.pdf

1、?TDSQL-C?MySQLTDSQL-C?MySQL?log is databaseMasterSlaveDiskDiskMySQLCOSBackup(Files)PrimaryReplicaCynosDBCOSBackup(Snapshot)SegmentCellSegmentCellSegmentCellSegmentCellTXStore数据页面逻辑日志元信息数据页面(只读)物理日志?Storage NodeCellCellCellCellStorage NodeCellCellCellCellStorage NodeCellCellCellCellStorage Pool日志按照所属

2、页面分片分片包含独立的日志和数据三副本存储存储池最小1M物理分配单元Remote I/O SystemInnoDBStorage ClientHot LogStorage13245Block6SyncAsyncStorage NodeVersioned Block1.传输日志到存储节点2.持久化日志3.通知客户端日志完成持久化4.回放日志到数据页面5.持久化新版本页面6.回收日志和页面?u 备机通过日志更新buffer pool页面u 存储按照日志划分页面的多个版本u 备机仅读取日志更新位置之前的最近一个版本的页面?高扩展性 高可用 高可靠 高性能 产品形态丰富?的?PB+?Storage P

3、oolFree an extentpagepagepagepageFull extentFull extentFull extentFull extentNot Full extentNot Full extentNot Full extentNot Full extentFree extentFree extentFree extentSegment?SharedmemoryCynosDBBuffer PoolR/WLoadCellCellCellStoragenode26482126034130255075100125150175200225250275停机时间启动时间事务恢复时间性能恢复

4、时间MySQLTDSQL-C单位：秒128G实例 OLTP 1000并发读写+大事务更新快速预热启动优化 Redo 存储自愈 事务系统并行初始化 表锁恢复优化 Buffer Pool 并行初始化?-并行归档：各分片并行查找数据全量/增量备份，并行回放日志-效果：GB级别回档速度-并行备份：分片根据备份点独立备份，同时以最小化元信息代价，做到备份全局一致性备份-效果：备份用户无感知，分片独立，秒级备份Compute NoderedologDataApplyRedo logDataredologDataCOSStorageLayerCompute NoderedologDataApplyDatar

5、edologDataRedo log*NStorageLayer*NCOS*N*N并行备份并行回档?IO Bound?存储分析二级缓存效果：Buffer Pool与Secondary Cache 1比5的配置下，随着数据增大，对比性能提升100+%内存管理：分级淘汰、加载；最小内存代价设计二级缓存内存结构磁盘管理：独立、非段页式文件管理，不需Double Write，灵活使用各种存储介质自动缓存部分热页面?Scale UPScale OutIO卸载、IO优化=算子下推、并行执行计算节点存储节点存储节点存储节点IO 请求数据页面16K并行SQL执行存储节点计算下推请求连续执行存储节点数据集计算下推请求数据集读计算扩展=写计算扩展