Apache Doris 在任子行的应用实践 -孔繁艺 任子行.pdf

1、Apache Doris 在任子行的应用实践孔繁艺 高级研发工程师Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024孔繁艺高级研发工程师分享嘉宾-任子行Doris Summit Asia 2024Doris Summit Asia 2024Doris S

2、ummit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024目录背景介绍01架构演进02企业实践03总结规划04Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia

3、 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 202401背景介绍Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024任子行网络技术股份有限公司成立于 2000 年 5

4、 月，2012 年 4 月，在深圳证券交易所创业板正式挂牌上市，是国内网络安全行业领军企业，致力于成为国内领先的“网络空间数据治理专家”。业务涵盖网络安全、公共安全、信息安全、运营商网络资源安全、终端安全、5G 数据安全、工业互联网安全等众多领域，是国家重大活动网络安全服务支撑单位，也为“一带一路”海外友好国家政府提供网络安全解决方案。1-1 公司介绍Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit

5、Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 20241-2 早期业务架构Kafka数据采集Spark StreammingAlgo Server舆情应用HBaseElasticsearchAPPDoris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024

6、Doris Summit Asia 2024Doris Summit Asia 2024业务系统架构扁平，基于 ETL 的明细数据，不会保留原始数据。无法二次分析1-3 背景介绍 数据比较分散，在地域和存储引擎层面上来看都是一个个分散的数据孤岛，数据无法共享及统一处理。数据孤岛执行导数分析任务时，需要直接在业务系统中执行，对于大数据量的任务，严重影响 ES 集群的稳定性。离线分析难度大Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia 2024Doris Summit Asia