陈迪豪-OpenMLDB以实时特征驱动实时智能决策.pdf

《陈迪豪-OpenMLDB以实时特征驱动实时智能决策.pdf》由会员分享，可在线阅读，更多相关《陈迪豪-OpenMLDB以实时特征驱动实时智能决策.pdf（29页珍藏版）》请在三个皮匠报告上搜索。

1、OpenMLDB：以实时特征驱动实时智能决策陈迪豪 第四范式演讲嘉宾陈迪豪第四范式平台架构师，OpenMLDB PMC Member目前担任 OpenMLDB PMC 以及第四范式平台架构师，曾担任小米云深度学习平台架构师以及优思德云计算公司存储和容器团队负责人。活跃于分布式系统、机器学习相关的开源社区，也是HBase、OpenStack、TensorFlow、TVM等开源项目贡献者。目 录CONTENTS1.实时智能决策的工程化挑战2.OpenMLDB 提供线上线下一致的实时特征计算3.社区生态和案例分享实时智能决策的工程化挑战PART 01实时智能决策的工程化挑战基于机器学习的实时智能决策

2、，需要毫秒级的实时计算能力基于机器学习的实时智能决策，需要毫秒级的实时计算能力解决方案响应时间准召率传统规则系统200ms较差客户自研系统50ms中等第四范式先知20ms优等、以某银行反欺诈场景为例客户需求：特征计算响应时间 20ms 内，高准召率的事中反欺诈系统银行要求毫秒级业务响应分钟分钟/小时小时 级别级别两大 AI 应用：感知类、决策类决策类硬实时计算真正满足实时决策需求 实时数据、实时计算实时数据、实时计算流式计算为 Big Data 和 BI 设计硬实时场景蕴藏巨大商业价值，鲜有通用商业化产品Milliseconds 毫秒级毫秒级Seconds 秒级秒级批量计算Batch流式计算S

3、treaming硬实时计算Hard Real TimeAI无人车AI事中反欺诈量化交易航空航天现在市面上所谓的AI实时计算大都是流式计算实时智能决策的工程化挑战基于机器学习的智能决策从离线开发到上线全流程基于机器学习的智能决策从离线开发到上线全流程数据 数据采集 数据存储特征 离线特征探索开发 特征存储和共享模型 模型训练 超参数调优模型 在线推理 结果数据回流特征 实时特征计算 特征服务数据 实时数据流接入 实时请求离线开发实时线上服务部署上线结果反馈需求：线上线下一致的实时特征计算平台实时智能决策的工程化挑战事中反欺诈交易的实时特征计算事中反欺诈交易的实时特征计算工程化需求工程化需求1.线

4、上线下一致性2.低延迟、高并发、高可用卡号卡号刷卡金额刷卡金额刷卡时间（已排序）刷卡时间（已排序）0121122232022/01/12 02:00:00012159152022/01/12 06:00:0001215910002022/01/12 07:59:5501215920002022/01/12 07:59:57卡号卡号刷卡金额刷卡金额刷卡时间刷卡时间01215910002022/01/12 08:00:00卡号卡号刷卡金额刷卡金额过去过去10秒内：刷卡次数秒内：刷卡次数|刷卡最刷卡最大金额大金额|最小金额最小金额|平均金额平均金额过去三小时内：刷卡次数过去三小时内：刷卡次数|刷卡刷

5、卡最大金额最大金额|最小金额最小金额|平均金额平均金额01215910003|2000|1000|13334|2000|14|100301215910002022/01/12 08:00:0010s3h基于窗口聚合特征计算特征计算模型推理欺诈交易？欺诈交易？历史交易表历史交易表虚拟插入生成的特征生成的特征刷卡记录刷卡记录实时智能决策的工程化挑战传统特征开发：离线开发和线上服务分离，高成本投入传统特征开发：离线开发和线上服务分离，高成本投入实时特征计算线上服务线上预估服务实时特征特征平台特征平台Database/C+工程化团队离线特征计算离线开发线下模型训练离线特征数据科学家Python/Spa

6、rkSQL计算逻辑一致性校验实时智能决策的工程化挑战线上线下不一致性可能的原因工具能力的不一致性 需求沟通的认知差Account Balance线上应用线上应用current“account balance”离线开发离线开发“account balance”as of yesterday离线开发离线开发线上应用线上应用=0 2 1标准差=0 2(Bessels Correction)PythonMySQL标准差实时智能决策的工程化挑战线上线下线上线下一致性校验带来的高昂工程化落地成本一致性校验带来的高昂工程化落地成本对齐+校验线下开发线下开发线上服务线上服务两组 不同技能栈的开发人员投入两套