星云零售信贷基于Doris的OLAP演进之路(2).pdf-三个皮匠报告

1、DataFunSummit2023演讲人：刘建波-腾梭科技-研发总监数据需求的产生 OLAP选型困扰 Apache Doris实践业务场景落地产品演进1、互联网网贷业务2、助贷+联合贷导流3、纯自营业务II)、技术架构单体应用-分布式应用-微服务 I)、业务架构网贷-联合贷-新零售 OLAP选型困扰1、生态复杂且门槛高、技术劝退2、投入产出比极低、成本劝退1、诉求：需要的不是大数据平台，而是一套高性能的OLAP工具2、原则：数据规模、灵活性、成本可控演进之路第一阶段：基于kettle 离线ETL插件丰富、链路长、难管理第三阶段：基于doris的存储分析简单易用、极速查询、实时统一第二阶段：

2、基于trino的统一查询异构数据源、联邦查询、大内存Apache Doris实践1、并发查询加速2、数仓底座建设运行架构业务模型业务场景及技术方案1、风控大数据报表平台2、统一日志存储与分析3、用户行为日志存储分析任务编排XX银行-风控大数据报表平台1、T+1离线跑批ETL2、分钟级准实时ETL3、Flink CDC实时ETLXX银行-统一日志存储与分析1、自定义Flume Sink采集2、未使用倒排索引3、基于大文本模糊匹配XX银行-用户行为日志存储与分析1、自定义Flume Sink采集2、基于JSONB存储与分析3、存储极致压缩、降本增效架构收益取数导数：业务人员或者开发人员，可以进行自定义的导数和纬度数据分析运维成本:集群节点做进程保活、几乎自运维查询延迟:简单查询毫秒级,复杂查询秒级响应资源节省:Doris极致压缩，将数据压缩了70%，存储成本降低后期规划1、智能数据网关2、统一数据归档DataFunSummit2023感谢观看

星云零售信贷基于Doris的OLAP演进之路(2).pdf

相关报告