蚂蚁 李阳-YoDA数据智能体系在蚂蚁的探索与实践.pdf

1、YoDA数据智能体系在蚂蚁的探索和实践李阳李阳蚂蚁集团蚂蚁集团 大安全大安全 安全计算引擎安全计算引擎个人简介个人简介蚂蚁集团-大安全 安全计算引擎团队负责人负责安全特征平台、风控数据计算和服务、YoDA数据智能体系。通过实时高性能特征和数据计算，软硬件一体化，异构融合计算等，支撑蚂蚁大规模风控策略和模型计算目录目录1问题与挑战问题与挑战技术方案技术方案总结与展望总结与展望231.21.2 风控数据计算的特点风控数据计算的特点大规模大规模时时效效性性计计算算复复杂杂多样性多样性风控数据计算风控数据计算流量vs计算的放大效应大规模的风控策略和模型的计算服务数据时效性、计算时效性，风险发现的时效有

2、苛刻要求风险的对抗性和持续性利用各种计算引擎的优势进行风险挖掘计算，且有可解释性风险的敏感性引用大量数据刻画用户行为1.31.3 问题与挑战问题与挑战耦合问题耦合问题对性能的极致要求，各种底层存储和计算引擎混合使用，业务逻辑和引擎的客户端代码耦合严重，多云环境部署成本高依赖重复杂度问题复杂度问题底层引擎多、数据产品多、风控极致性能要求，使得整体链路碎片化，缺乏一体化的实现和管控，整体加剧了系统的复杂度。复杂度高黑盒问题黑盒问题数据资产之间的血缘不清晰，语义不统一，计算口径各异，导致系统理解，安全生产，成本效能治理等问题不透明一致性问题一致性问题在线/近线/离线由于技术需求差异大，在无统一的协同

3、设计下，导致了风控效果的一致性缺乏根本性保障，阻碍了创新的步伐。一致性差1.41.4 方案概览方案概览底层引擎底层引擎安全数据产品安全数据产品数据决策数据决策(图计算图计算/累计计算累计计算/)数据探索数据探索(仿真仿真/训练训练/.)数据天眼数据天眼(值域分析值域分析/预警预警/).数据服务框架数据服务框架 (统一存储与服务统一存储与服务)计算研发框架计算研发框架(统一计算统一计算)数据上下文数据上下文 (统一管理与治理统一管理与治理)三线一致三线一致(统一时态统一时态)存储存储/计算计算/服务服务在线在线/近线近线/离线离线CPU/GPU/NVMYoDA数据智能体系目录目录1问题与挑战问题

4、与挑战技术方案技术方案总结与展望总结与展望23资产维度多资产维度多500+数据规模大数据规模大500w+2.12.1 YoDAYoDA数据上下文数据上下文问题问题&挑战挑战关联度广关联度广5w+血缘链路深血缘链路深30+系统服务多系统服务多500+无法理解：数据的加工逻辑是什么、需要的资源是什么？无法分析：数据的依赖关系是什么、下线的影响如何评估？无法治理：数据的成本如何、可用性如何、是否被有效使用？解法：解法：通过数据上下文统一支持整个数据系统的理解、分析、治理等。2.22.2 YoDAYoDA数据上下文数据上下文让系统能让系统能“被理解被理解”数据节点计算节点API注册自动导入数据基础模型

5、数据基础模型两种点数据点：逻辑或物理数据源及元信息计算点：配置、资源、计算逻辑、版本信息两种边数据被计算使用计算产生数据记录数据与计算之间的生产和消费血缘关系，使数据的生产链路白盒化目的和作用目的和作用 应用层应用层1.价值量化、成本治理2.异常归因分析3.计算链路优化 流量层流量层资产动态信息：值域、性能、资源消耗、逻辑分支路径 路网层路网层资产静态信息：资产表/字段血缘，计算逻辑，历史版本2.32.3 YoDAYoDA数据上下文数据上下文 让系统能让系统能“被分析被分析”2.42.4 YoDAYoDA数据上下文数据上下文 与传统资产管理的差异与传统资产管理的差异比较维度比较维度YoDAYo

6、DA数据上下文数据上下文传统资产管理传统资产管理异构跨多系统、多应用存储系统二部图计算节点、数据节点数据节点多版本基于时间的多版本管理当前版本动态信息统计信息、数据敏感等级无应用场景传播分析、成本效能、计算优化资产统计流计算批计算图计算存储系统3.1 3.1 YoDAYoDA研发框架研发框架-背景背景OceanBaseMySqlHBaseSpark StreamingMaxcompute SQLGeaflowKeplerBlinkSpark GraphMaxcompute GraphSparkBatchSparkSQLHadoopFlink业务逻辑 业务逻辑 x 引擎：耦合紧密，多云环境部署，