5-3 翼支付大数据 BI 分析平台建设实践.pdf

1、翼支付大数据BI分析平台建设实践演讲人：吴晓兵、唐晔2翼支付在金融大数据分析的应用翼支付在金融大数据分析的应用翼支付大数据翼支付大数据 BI 分析平台架构分析平台架构一一二二OLAP引擎技术引擎技术实践实践三三未来规划未来规划四四3业务场景业务场景 业务场景 数据探查 数据可视化 实时数据快速查询 离线数据快速查询 存在问题：烟囱式架构 查询性能及稳定性差 自助式数据获取门槛过高 数据权限管控混乱 数据质量低下4翼支付在金融大数据分析的应用翼支付在金融大数据分析的应用翼支付大数据翼支付大数据 BI 分析平台架构分析平台架构一一二二OLAP引擎技术引擎技术实践实践三三未来规划未来规划四四5平台架

2、构平台架构6翼支付在金融大数据分析的应用翼支付在金融大数据分析的应用翼支付大数据翼支付大数据 BI 分析平台架构分析平台架构一一二二OLAP引擎技术引擎技术实践实践三三未来规划未来规划四四7多租户权限管控多租户权限管控 平台侧权限管控：参考presto-parser模块的代码用于SQL解析 修改Presto的SqlBase.g4文件，添加对Hive/Spark语法的支持 使用Antlr4的Visitor模式对生成的AST进行遍历，解析出SQL中的资源信息，随后与元数据平台交互来进行权限校验8多租户权限管控多租户权限管控 Tableau权限管控：基于Presto SPI开发SystemAcces

3、sControl Plugin对接元数据平台进行权限管控 Kylin采用的Project ACL进行权限管控9OLAP MetricsOLAP Metrics收集收集 OLAP集群监控与告警：每种引擎都集成prometheus_agent向Prometheus汇报集群核心Metrics Grafana绘制Cluster Dashboard Alert Platform进行异常指标告警 Query层级监控与分析：基于Presto SPI开发query-event-listener插件汇报单SQL Metrics Kylin通过Metrics-Report模块向kafka发送cube查询的指标 C

4、K本身会将查询信息落到系统表中 最终所有的查询Metrics落CK，通过QueryId即可对单SQL进行性能瓶颈分析10CK CK joinjoin分布式表不走分布式表不走local joinlocal join的问题的问题 描述：在启用了local join(set distributed_product_mode=local)之后，直接join分布式表不走local join。更具体描述可参考文章：https:/ CK joinjoin分布式表不走分布式表不走local joinlocal join的问题的问题 相关代码：src/Interpreters/InJoinSubqueriesP

5、reprocessor.cpp V21.11及以前的代码V21.12及以后的代码12CK Global IN/Not INCK Global IN/Not IN性能问题性能问题 描述：在使用global in/not in时，出现严重的性能问题，甚至查询超时。具体分析可参考文章:https:/ select xxxfrom t where xxx global in(select xxxfrom t2 where xxx)Clickhouse mergetreeClickhouse mergetree引擎并行读取机制与本场景中引擎并行读取机制与本场景中t2t2表的数据分布导致读入了大量碎片表的

6、数据分布导致读入了大量碎片block block StorageMemory StorageMemory的数据以的数据以blockblock形式存储，粒度与写入时一致，不会进行合并形式存储，粒度与写入时一致，不会进行合并 Send ExternsTables Send ExternsTables时按时按blockblock逐个发送数据到逐个发送数据到remote noderemote node13CK Global IN/Not INCK Global IN/Not IN性能问题性能问题 相关代码：src/Interpreters/GlobalSubqu