TDSQL分布式执行引擎的性能优化和技术分享.pdf

1、主讲人：伍鑫腾讯云数据库专家工程师强一致高可用、弹性伸缩强一致高可用、弹性伸缩、高性能低成本、产品化强一致高可用、稳定、高性能低成本、产品化OLTP/HTAP,PG生态语法，已开源分布式基础版V2（行存）OLTP/HTAP，Oracle语法，去O场景集中式+分布式Oracle兼容版V5.06（行存）主打复杂查询场景，列存+向量化引擎分布式分析引擎版V3（行/列存）LOOPPL/SQL框架复杂子查询通用OLTPDN1 DN4FN共享内存SQL解析PL/SQL优化器多表关联代价估算全局索引数据倾斜CN1存储列存表行表COLCOLCOL透明压缩轻量压缩透明压缩执行器向量化执行JOINSCANREMO

2、TEAGGSCANDN1 DN4FN共享内存SQL解析PL/SQL优化器多表关联代价估算全局索引数据倾斜CN1存储列存表行表COLCOLCOL透明压缩轻量压缩透明压缩执行器向量化执行JOINSCANREMOTEAGGSCAN支持最多1024DNGTM多CN支持高并发业务时间戳时间戳多DNMPP计算并行执行并行执行支持同引擎行列混合存储，事务一致性/优化器/执行层面完全融合行列混合存储隔离设计，支持双语法生态Oracle/PG双模式支持逻辑多租户，根据CPU/内存/并发度隔离业务资源隔离自研功能全面优于社区版本，hint无需改业务SQLPlan hintOracle兼容设计优化增强，大小写处理、

3、关键字处理等等Oracle融合优化和增强优化内存分配、优化overcommit避免过度分配内存优化CPU/内存/耗时/倾斜等超过阈值主动停止查询资源熔断历史SQL、资源视图、查询计划分析等系统视图增强精简分区表设计提升稳定性，与社区融合；规划全面支持Oracle分区表语法分区表全新MPP框架OLTP小数据量关联并发能力最高提升25倍，解决多表关联链接过多问题，单一部署架构支持多项TP/AP性能指标稳定并行框架并行查询默认打开，优化器自动规划行列混合事务一致性/优化器/执行层面完全融合分布式事务优化重构，OLTP性能提升20%链接管理优化重构，OLTP通用并发能力提升15%TPC-H相比现行版本

4、优化10倍TPC-C相比现行版本已优化20%分区表精简分区表设计提升稳定性，与社区融合向量化引擎通用计算性能提升5倍，支持行/列存DN1DN2DN3DN1DN2DN3DN1DN2DN3第一层重分布：A join B(N 1)*N 个连接(N 1)*N 个进程第二层重分布：（A Join B）Join C(N 1)*N 个连接(N 1)*N 个进程ProjectionHash JoinHash JoinHash JoinRemote SubplanRemote SubplanRemote SubplanN*（N-1）个连接ForwardLayerForwardLayerForwardLayer统

5、一从CN节点发起链接并控制，去除冗余DN间链接控制流优化数据流统一走Forward数据转发层，提升效率数据流复用相同DN内数据交互不用走网络层，性能优化本地通信优化优化链接申请、维持、释放逻辑，高并发查询性能提升链接管理优化Remote SubplanRemote SubplanRemote Subplan为了简化，hash join只画出了一条inner path路径M*N个进程Stash Table（Row Format）Columnar Format自动StashMerge批量导入批量更新小数据量插入小数据量更新Silo3Silo2Silo1Silo3Silo2Silo1列存表支持创建配

6、套Stash行存表小数据量插入/更新会进入Stash表中批量插入更新会直接写列存Silo格式PM背景Auto Stash Merge进程自动判断stash表大小进行列存格式规整通过列存+stash表达到RO/WO的统一Oracle兼容语法与PG语法有大量差异，包括空值规则、大小写规则、SQL语法、PL/SQL能力、系统视图、高级包等。TDSQL通过语法层/元数据层/视图层隔离减少系统复杂度在事务、行列存储、MPP框架、计算引擎、优化器等底层框架层面，则基本完整复用，通用的对PG/Oracle不同语法方言进行支持用户可以在同一套集群里创建不同PG/Oracle database，底层通过PG/O