耿玄玄-沐瞳游戏出海：数据集成探索实.pdf

1、演讲嘉宾：耿玄玄1第一章节 关于沐瞳2第二章节 沐瞳数据集成挑战3第三章节 沐瞳数据集成实践4第四章节 未来规划 上海沐瞳科技有限公司成立于2014年。公司总部位于上海，在新加坡、秘鲁、马来西亚、菲律宾、印尼等地设有分支机构。公司创立之初便立足于全球化游戏的开发，通过领先的研运优势，打造全球发行体系，已成功推出多款在海外具有高知名度的移动游戏产品，是最早一批致力于游戏出海的中国公司，也是拥有最多海外玩家的中国游戏公司之一。旗下产品包括Magic Rush:HeroesMobile Legends:AdventureMobile Legends:Bang Bang Watcher of Real

2、ms等。1第一章节 月活突破1.1亿数据千亿/日 累计下载量超10亿次 PB级数据1第二章节早期数据接入流程历史问题数据采集延迟高无msgid接入方式单一全球区域跨区域网络延迟高，部分业务对延迟敏感多数据源不同日志平台和SDK数据格式不统一数据质量埋点测试与治理工具欠缺数据量大原数据上传链路的接入量级大，高速上换轮胎面临的挑战1第三章节数据接入新项目：接入新日志平台和SDK老项目：对原链路改造，从日志服务器采集，通过RPC 协议实时上传到大数据网关，不影响业务。数据流数据源：数据源来自SDK、agent采集,CDC等数据网关：支持HTTP/GRPC，根据分流规则将数据写入不同kafka集群不同

3、topic中数据流：数据经过网关分流策略后，将一个或者多个logID写到一个topic中。数据流组：同一个数据源的数据经过网关被分为多个数据流，那么这些数据流合在一起就是数据流组。消费任务：每个消费任务消费一个或多个数据流。消费任务根据管理平台配置规则对数据进行清洗并存储到不同的目标库中。同一个组下的所有消费任务原则上处理逻辑是一样的消费任务组：消费相同数据流组下的消费任务则属于同一个消费任务组目标库：目标库是数据流在数据集成系统中的最终存储，StarRocks/Hive/Kafka等。核心模型网关分流数据集成任务基于flink实现，通过api请求定时更新source、sink、以及trans

4、form等配置信息。transform，通过管理平台配置pipeline规则，对数据进行一些列对清洗自定义sink，在sink中实现多个子sink。通过配置字段粒度的匹配规则，控制数据sink到不同的目标库中数据集成任务管理平台项目管理项目责任人、项目不同阶段、时区配置，外部系统对接配置埋点管理元数据管理，预置事件、数据测试，登记，生命周期管理网关管理数据接入endpoint，安全认证，file agent远程配置下发，分流规则配置开发管理数据源、Kafka集群和Topic、目标库管理.发布管理上线审核，schedule、任务管理、版本管理。运维监控任务监控、资源监控、各环节metrics、分

5、流、压力监控边缘节点部署就近节点上报，提高成功率高延迟敏感业务-边缘计算低延迟敏感业务-集中计算数据隔离网关上报endpoint隔离，网关资源隔离Kafka集群或者topic级别隔离计算资源隔离根据k8s label,可配置独立资源存储隔离s3存储bucket隔离，成本单独核算权限隔离数据集成管理平台权限，查询权限新项目快速接入未配置事件可查平台未配置事件准入确认下线数据黑名单支持数据快速可查事件元数据快速录入平台提供未配置事件元数据识别和修改能力，支持用户一键录入事件和字段数据回刷数据一键回刷实时测试工具根据事件标识、区服、id、战斗id等可以快速进行埋点验证，支持自定义规则校验预置事件统一预置事件游戏项目初期使用模版快速搭建数据看板实时测试数据延迟监控需求文档命名规范埋点登记预置事件和字段字典埋点规范实时测试自定义校验规则自动发送测试报告上下线审核安全合规审核根据自定义校验规则实时检测离线检测质量告警延迟告警数据回刷测试审核质量监控告警埋点治理1第四章节可视化pipeline任务开发Janino，规则引擎引入Paimon，线上全量ODS数据点查演讲嘉宾：耿玄玄