3-1 沈裕锋-美团数据库自治服务平台建设.pdf

1、美团数据库自治服务平台建设演讲人：沈裕锋2个人介绍沈裕锋 数据库自治服务平台负责人曾就职于IBM、微软数据库平台组，有多年的关系型数据库跟大数据平台研发经验。2019年加入美团，目前深耕于数据库自治服务领域，负责公司数据库研发中心数据库自治服务平台的相关工作。3平台简介演进策略异常发现与诊断SQL性能优化与治理自动化故障处理未来展望4平台简介运维效率1.分析定位难度高，以人为主，工具为辅2.工具之间联动少，单点之间来回切换3.处理过程不透明，协同沟通成本高业务稳定性1.故障处理周期长，小问题容易变成大故障2.故障出现频次高，新业务故障持续不断发生业务规模增长与运维能力发展之间的不平衡问题凸显数

2、据库自治服务平台是一种基于大数据技术、专家经验以及AI算法来实现数据库的异常发现、故障分析与处理以及SQL性能优化与治理的自治数据库服务平台，目标是实现数据库领域的自动驾驶。5平台简介演进策略异常发现与诊断SQL优化建议与治理自动化预案处理未来展望6整个平台的演进路线分为数据库“可观测性建设”、“异常发现”、“智能诊断”以及“SQL优化与故障预案处理”几个大的阶段进行。演进策略各层功能介绍 接口与展示：展示平台的功能以及对外提供平台的服务。业务逻辑层：使用采集到的数据来提供异常诊断、SQL性能优化与治理等业务功能。计算存储层：通过实时计算跟大数据平台对采集的数据进行计算跟存储。数据采集层：采集

3、异常诊断跟性能优化的关键数据，为业务层服务。7平台简介演进策略异常发现与诊断SQL性能优化与治理自动化预案处理未来规划8异常类型与处理生命周期异常发现、诊断、处理的全生命周期关键指标异常诊断面临挑战造成异常的原因众多全方位的信息获取困难排查经验难以传承数据库系统发生异常时，需要快速发现异常、根因定位以及快速解决问题，防止异常造成的影响被进一步放大。异常类型 活跃会话突增 主从延迟增加 慢查询数量突增 9异常发现策略异常发现策略分为传统的静态阀值、基于数理统计的动态阀值的策略，动态阀值是根据不同的指标历史变化规律，构建不同的模型进行异常检测，根据历史的时序数据分布来预测未来的指标走势。异常发现算

4、法基于模型的实时异常指标发现10复盘分析总结提炼规则生成 学习专家经验：咨询DBA同学，学习行业专家的经验；内核源码分析：深入研究MySQL内核代码，了解SQL执行的明细步骤，从最底层的逻辑来判断异常发生的根源；AI算法诊断：学习业界知名公司异常诊断方面论文，做一些技术上的创新。异常诊断策略例子：活跃会话异常诊断分析规则树11有些case的诊断很有挑战性（尤其内核层面的Mutex锁造成SQL阻塞，比如binlog清理、BP空闲内存不足、DICT_SYS锁或者硬件故障问题等），因为缺少那部分的关键数据，我们从源码角度出发整理了整个SQL的明细执行步骤，跟公司MySQL内核团队合作，输出了100多

5、个在内核中执行的关键步骤的耗时情况，为疑难杂症的Case打下坚实的基础。内核可观测性-基于内核源码分析12根据分析结果，公司内MySQL内核团队对整个SQL的执行流水中涉及的关键执行步骤的耗时打点，把性能相关的打点数据输出至本地文件后通过平台的agent组建传至后端进行SQL的性能分析与根因诊断。内核可观测性-内核建设MySQL内核数据打点、上报的总体架构部分内核指标列表 BPWaitFreeTime SchemaWaitTime BinlogRotateTime RecLockTime PageReadTime LockTime CommTime PageWriteTime TableWai

6、tTime TableHoldTime SchemaHoldTime 自治服务平台13根据专家经验跟内核可观测性功能总结出的诊断规则，同时结合AI算法进行异常指标的根因诊断分析。基于规则的根因诊断处理流程基于规则诊断给出根因（基于页面的产品展示）基于AI诊断给出根因（基于IM的产品展示）基于AI算法的根因诊断处理流程诊断系统架构设计与产品展示14平台简介演进策略异常发现与诊断SQL性能优化与治理自动化预案处理未来规划15SQL性能优化&治理-背景性能问题相关的风险SQL对应用程序系统的稳定性造成很大的挑战，我们的目标是及时的发现、分析跟处理掉风险SQL，防患于未然。服务耗时组成SQL请求耗时分