腾讯专场1.4-TDSQL-C 并行查询技术探索.pdf

1、陈开旺腾讯云 数据库专家工程师TDSQL-C 并行查询探索日程产品简介(产品架构、业务挑战)功能体验并行原理(加速原理、计算模型和任务拆分)技术方案(调度框架、任务、流程和基础模块)展望问答产品简介云上云上MySQL 形态形态AWS腾讯云腾讯云说明说明用户自建on EC2on CVM自选发行版，自行维护云数据库(RDS)Amazon RDSTencentDB本地存储，基于 binlog 复制云原生数据库云原生数据库Amazon AuroaTDSQL-C共享存储，基于 redolog 复制分布式数据库-TDSQLShared-Nothing，分库分表云原生数据库MySQL 兼容性快速弹性存储容量

2、，数据可靠性可用性PrimaryReplicastorage clientstorage clientredologdatahttps:/ vs.row-stores:how different are they really?并行查询向量化执行，编译执行列式存储功能体验开箱即用，透明加速开箱即用资源规划资源申请https:/ law=11 +sp-可并行部分占总计算量的比例s 上述部分的局部性能提升https:/www.tpc.org/tpch/default5.asphttps:/en.wikipedia.org/wiki/Amdahl%27s_law并行原理分而治之，多核加速并行原理分而

3、治之，多核加速任务拆分数据分区数据交换SQL 计算模型概念层次查询块(Query Block,QB)关系运算普通函数和统计函数Astrahan,M.M.,&Chamberlin,D.D.(1975).Implementation of a structured English query language.Graefe,G.(1994).Volcano-an extensible and parallel query evaluation system.任务拆分在流水线断点拆分(排序、分组、统计函数)修复输入输出关系聚合运算，中断流水线Graefe,G.(1990).Encapsulation

4、 of parallelism in the volcano query processing system.可分解计算可分解关系运算过滤()=()连接 =()或 =()排序 =()Limit ,=+()=()mergeRSR1R2R3R1R2R3RSS1S2S3任意分区HASH 分区可分解统计函数count,sum,min,max,avg,stddev,=()=1 =+()=+()=min(,)=+()+()Kitsuregawa,M.,Nakayama,M.,&Takagi,M.(1989,August).The Effect of Bucket Size Tuning in the Dy

5、namic Hybrid GRACE Hash Join Method.https:/en.wikipedia.org/wiki/Aggregate_functionunion技术方案复用，扩展调度框架全局任务大图控制消息任务执行环境MySQL 异常处理Teeuw,W.B.,&Blanken,H.M.(1993).Control versus data flow in parallel database machines并行任务任务拆分(a-c)任务形态(2)优化环境=|cost Plani=min()并行流程https:/en.wikipedia.org/wiki/Communicating_sequential_processes数据分区B+tree 划分范围限定正反向扫描数据交换自定义紧凑格式路由策略阻塞限流断开感知展望展望行列混合并行两阶段并行SQL 优化自治