快手统一数据服务平台设计与实践.pdf

1、快手数据服务体系建设实践演讲人：陈硕 快手 指标中台技术负责人2023 数据服务领域建模快手数据服务发展历程快手数据服务平台技术架构未来展望数据服务领域建模数据服务的目标电商消费订单数仓表根据消费信息推送优惠券电商GMV趋势表数据赋能业务数据资产数据服务业务系统建立数据与业务之间的服务通道ETL电商消费订单服务数据服务场景举例数据服务场景问题-1电商消费订单表营销推送服务根据消费信息推送优惠券适配各类查询引擎研发成本较高提供可靠数据服务研发门槛较高程序员开发数据服务数据服务场景问题-2电商消费订单表电商GMV趋势图SQL取数结果保存为Excel手写SQL取数上手门槛较高取数结果固化需求变动不灵

2、活指标不复用数据口径不一致运营人员分析电商GMV数据服务模型数据表数据源数据模型基于结构化数据服务基于语义化数据服务结构化统一处理异构数据语义化赋予数据业务含义降低数据服务开发门槛降低数据分析门槛快手数据服务发展历程快手数据服务发展历程数据服务1.0 定制化服务结果支持效率低：单服务开发8PD+管理混乱：手工开发服务数量100+问题快手大数据与服务建设处于早期阶段需要基于数仓数据快速支持业务需求解法Case by case 定制化开发数据服务数据服务2.0 平台化服务数据源逻辑数据表结构化数据模型语义化数据API服务数据分析服务解决思路：数据抽象架构设计数据API服务：基于逻辑数据表数据抽象，

3、提供多样化/高性能的查询服务数据分析服务：基于数据模型与指标维度的数据抽象提供，提供灵活的数据分析服务问题：体系化支持数据服务的不同场景定制化服务开发效率低数据服务场景日趋复杂，需同时满足在线服务和离线分析等场景数据服务2.0 平台化服务成果提升服务效率：单服务开发小于1PD统一在线5大类服务：KV服务、SQL服务、公共数据资产等服务统一分析类服务，支持BI分析场景实现方案构建数据API服务平台，提供统一的数据加工能力与规范化的服务能力构建数据分析平台，基于语义化模型，提供数据分析能力数据服务3.0 统一化服务服务系统能力模型多引擎数据查询能力数据表加工能力数据建模能力多样化数据API数据分析

4、能力问题：服务平台建设成本与接入成本较高数据加工与查询能力重复建设服务接入成本较高，不同服务接入无法收口服务接入解决思路：体系化建设服务平台公共能力数据查询能力：统一建设查询引擎数据准备能力：统一建设数据表与数据模型层的加工处理能力数据接入能力：统一接入协议/接口/语言数据服务3.0 统一化服务成果统一服务接口，接入成本 2服务1引擎Octo查询引擎：数据查询能力基础设施1平台数据准备平台：提供统一数据处理与建模能力数据表准备：数据加工/数据加速指标模型准备：指标管理/逻辑建模2服务数据分析服务：语义化模型查询数据API服务：数据API化查询BI平台RedisHbaseDruidHive统一数

5、据查询引擎 Octo引擎层数据加工物理层语义层统一数据服务语言/API 数据准备平台数据加速指标管理逻辑建模数据API服务数据分析服务服务层实验平台业务系统算法服务统一数据查询引擎 整体架构指标平台API平台质检平台RedisHbaseDruidHive异构引擎适配适配层数据源信息统一元数据字段元信息联邦执行计划查询层多种执行模式接口层FQL语言/DataFrame协议统一查询引擎Octo统一查询语言：FQL（Federation Query Language）查询语屏蔽底层物理差异联邦查询能力：支持不同引擎之间的联邦计算，降低数据同步成本，提升数据获取效率离在线一体化：离线在线执行模式适配不

6、同查询场景解决方案设计目标提供统一的多引擎，多场景的数据源查询能力。降低数据服务查询能力的开发成本。统一数据表查询引擎 核心技术Apache ArrowSubstrait语言设计 FQL问题：不同引擎，不同分层查询表述不统一解决方案：扩展Substrait，表示数据中台领域的跨引擎查询以及二次计算过程数据协议 Dataframe问题：引擎不同层次间冗余格式转换解决方案：基于Apache Arrow进行数据封装，利用DataFrame设计定义表格数据计算算子 Apache Arrow格式：高效传输，向量化执行 Dataframe：定义表格数据抽象与计算AP