A2--李庆敏--腾讯游戏数据分析系统的架构演进及实践.pdf

《A2--李庆敏--腾讯游戏数据分析系统的架构演进及实践.pdf》由会员分享，可在线阅读，更多相关《A2--李庆敏--腾讯游戏数据分析系统的架构演进及实践.pdf（30页珍藏版）》请在三个皮匠报告上搜索。

1、腾讯游戏数据分析系统的架构演进及实践李庆敏，腾讯游戏数据分析平台后台负责人李庆敏10+年大数据领域工作经验，目前就职于腾讯IEG-公共数据平台部，任腾讯游戏大数据分析平台DA的后台负责人在腾讯先后参与了腾讯游戏大数据基础平台、DataMore、iData、灵犀、DA等大数据相关的应用平台的技术架构工作。01020304腾讯游戏数据分析的背景腾讯游戏数据分析的架构演进腾讯游戏数据分析平台DA的特性未来展望腾讯游戏数据分析的背景腾讯游戏数据分析的背景端页游 150+款手游 400+款日新增400+TB3W+亿条单业务表维度430+字段1300+表总存储300+PB200W+表一游戏一世界数据模型复

2、杂度高腾讯游戏稳定增长游戏品类丰富、产品数量多、数据量大、环境复杂如何利用大数据分析技术帮助游戏产品快速、灵活、有效的实现游戏精细化运营600+款全域资产沉淀20+年游戏运营腾讯游戏数据分析的架构演进腾讯游戏数据分析的架构演进第一代：iData第二代：灵犀第三代：DA游戏数据服务、一站式千人千面、营销闭环IEG、行业对标、业务增长一站式游戏数据分析与运营解决方案大数据驱动实时营销闭环，助力产品长线精细化运营提供数据监控、分析探索、用户增长、行业洞察等全流程服务，提升游戏精细化运营效率、驱动游戏业务增长 2005-2017 2018-2021 2021-至今 监控/预警 自助分析 实时个性化干预

3、看数据做分析即行动 丰富的经营分析体系 全面的数据能力 AI智能体应用大数据OLAP还不成熟的情况，如何做到快速分析如何快速扩展接入多种分析能力利用新兴的OLAP技术进行提效演进1-iData数据分析的使用路径分析指标运营指标行为指标游戏指标付费指标自定义指标离线多维分析用户分群明细数据用户画像多维提取跟踪分析跟踪分析规则投放下钻分析实时跟踪多维跟踪实时多维分析在线画像分析跟踪分析透视分析市场营销内容推荐演进1-iData的后台核心架构集群N集群2集群1ProcessProxyGroupSchedulerJobSchedulerTaskExecutorAppAppDataNodeMetaNod

4、eMetaNodeMonitor节点1节点2节点N数据预处理用户操作运营监控管理MetaNodeMetaNode演进1的经验小结1：游戏分析的定制化场景2：预处理机制，位图索引n分布式计算能力n多备份加速并行n数据对象主索引，排序与去重n数据维度内容，位图索引加速计算n数据对象定向切片n多维计算本地化、减少网络的冗余迁移3：物化视图引入，加速计算n数据时间维度周、月、年聚合计算n时间维度就近与最后时间状态大数据OLAP还不成熟的情况，如何做到快速分析演进2-灵犀的后台核心架构如何快速扩展接入分析能力n引入Spark支持完备的SQL计算能力n基于UDF/规则注入的SparkSQL能力扩充nAPP

5、应用开发可扩展TGSpark-SQLOUTPUTOLTPHDFSPaaS API&SQL多维分析留存分析路径分析地图分析画像分析多维提取模板跟踪CoordinatorDAG-EngineJDBC&APIService-MetaDataService-UI服务层计算层存储层OverLordDataNode_1LocalRunnerSparkExecutorTGSparkDataSourceDataNode_2LocalRunnerSparkExecutorTGSparkDataSourceDataNode_3LocalRunnerSparkExecutorTGSparkDataSource演进2

6、的经验小结1：“多场景”扩展便捷2：存储和计算优化n 存储优化 账号分片 行列组织优化 文件结构及索引优化 位图提速n 计算优化 DataSourceAPIV2扩展，减少不必要shuffle 自定义分区规则，本地化计算演进3-DA的后台核心架构基于开源的StarRocks，自研功能更加全面的DeltaDB数仓云原生版，配合应用层的看板和可视化的多种加速手段，达到优越的性能体验图卡物化查询图卡预刷缓存图卡查询合并数据集物化抽样加速查询优化看板加速探索加速腾讯云TKEGoogle云GKEAWS EKS微软云AKS云原生环境适配层冷数据存储（COS/HDFS）计算热存储BEBE预构建导入BEBEMP