杨赛峰-数禾科技：用 TiDB 简化技术栈的实践与洞见.pdf

1、/数禾科技：用 TiDB 简化技术栈的实践与洞见杨赛峰数禾科技资深 DBA一、数禾科技&特征介绍二、数禾特征计算使用 TiDB 进行技术栈简化的实践和收益三、数禾 TiDB 运维实践四、对 TiDB 的期待与未来计划五、总结：数禾选择 TiDB 的理由数禾科技：用 TiDB 简化技术栈的实践与洞见分享大纲一、数禾科技&特征平台介绍 以大数据和技术为驱动，为金融机构提供高效的智能零售金融解决方案，服务银行、信托、消费金融公司、保险、小贷公司等持牌金融机构，业务涵盖消费信贷、小微企业信贷、场景分期等多个领域，提供营销获客、风险防控、运营管理等服务。数禾科技介绍数禾科技：用 TiDB 简化技术栈的实

2、践与洞见一、数禾科技&特征介绍 特征在数禾的语境里，只要在策略、模型、分析中用到的 by 主题调用的、和某个主题绑定的数据均可以认为是特征。比如某个用户的属性，主题就是用户（UID），或者某个订单的属性，主题就是 ORDER_NO 等等特征可简单的分为离线特征和实时特征，离线特征只能获取 T-1 数据，一般是定时跑批生成的；实时特征是实时计算并生成的，比离线特征更具时效性。特征平台及概念介绍数禾科技：用 TiDB 简化技术栈的实践与洞见二、数禾特征计算使用 TiDB 进行技术栈简化的实践和收益数禾科技：用 TiDB 简化技术栈的实践与洞见MySQLKafkaFlinkAPPHBase简化前挑战

3、：1.开发复杂、周期长：MySQL 通过 DTS 将 Binlog 同步 Kafka，Flink 消费 Kafka 并经过计算以后将结果写入另外一个 Kafka，最后应用消费 Kafka 并经过一系列转换后存入 HBase。2.成本高：云上 Kafka，Flink，HBase 等费用较高。3.特征时效长:平均延时 10s 以上,在某些场景下用户流失率相对较高 简化后收益：1.特征开发门槛降低，开发只需会写关系型 sql2.技术栈简化，链路简单，运维管理方便3.特征数据时效提升：基于数据源实时计算4.特征交付周期大幅缩减：从 7 天降至 3 天5.资源成本降低 50%数禾科技：用 TiDB 简化

4、技术栈的实践与洞见MySQLTiDB-在线DTS二、数禾特征计算使用 TiDB 进行技术栈简化的实践和收益特征集群：云上 3 AZ 架构三个中心都可供读写，无资源浪费RPO 为 0，RTO 1min(自动恢复)资源相对单 AZ 基本无变化 数禾科技：用 TiDB 简化技术栈的实践与洞见二、数禾特征计算使用 TiDB 进行技术栈简化的实践和收益三、数禾 TiDB 运维实践资源隔离部门部门系统级别系统级别组件隔离组件隔离 RU RU不同部门集群隔离A：核心 B：重要 C：一般TiDB:通过 SLB 连接不同计算节点TiKV:通过 label 实现隔离不同应用使用不同用户，并绑定 Resouce G

5、roup数禾科技：用 TiDB 简化技术栈的实践与洞见三、数禾 TiDB 运维实践数禾科技：用 TiDB 简化技术栈的实践与洞见应用端自动 kill:设置查询超时时间,以防一条烂 sql 打爆整个 TiKV 集群 300ms，jdbc max exection time 熔断功能：基于对 sql 过去响应耗时的数据决定是否熔断，以防一条烂 sql 影响整个集群运维平台：TiDB 集群相关元数据和血缘关系定时采集统一展示至运维平台未来功能扩展：自动扩缩容、sql 熔断功能对对 TiDB v8.5 TiDB v8.5 比较期待的新特性比较期待的新特性：1.TiKV MVCC 内存引擎2.默认允许将

6、 Projection 算子下推到存储引擎3.统计信息收集忽略不必要的列4.支持为资源管控的后台任务设置资源使用上限四、对 TiDB 的期待与未来计划数禾科技：用 TiDB 简化技术栈的实践与洞见希望希望 TiDB TiDB 可以支持的能力可以支持的能力：1.支持冷热存储，冷存接入OSS2.数据备份恢复支持到表级别3.TiCDC 支持同步至 ADB，支持更改库表名4.SQL 洞察功能数禾科技：用 TiDB 简化技术栈的实践与洞见四、对 TiDB 的期待与未来计划数禾数禾 Ti