杨红霞-阿里巴巴人工智能驱动大数据（27页）.pdf

1、阿里巴巴人工智能驱动大数据资深算法专家 杨红霞阿里巴巴 数据技术及产品部复杂的大数据全域实体识别自动化标签生产系统总结12345数据清洗复 杂 的 大 数 据阿 里 巴 巴 数 据 生 态Online and Mobile Commerce Platform$BUYERSSELLERSMarketingFinancing&Payment SolutionProfessionalService ProvidersDigitalEntertainmentLogisticsMobile BrowserLocation-BasedSocial MediaOPERATING SYSTEMCLOUD CO

2、MPUTINGDATATECHNOLOGYTEAM技术数据数据计算开发平台数据采集管理平台数据资产管理平台智能解决方案算法平台算法数 据 新 能 源碎片化标准不一质量不一海量数据 EB级数据 总表数百万级 计算能力 稳定性 支付作弊 流量作弊 脏数据 业务类型复杂 底层系统差异 多终端：PC、无线、OTT、IOT 结构化 vs 非结构化 业务规范差异：金融实人 vs 浏览器海 量 数 据 的 挑 战算法模型产品反作弊自动化预测三位一体解决方案因果分析知识&行为图谱用户分层社区发现传播路径分析ID Mapping关联分析聚类分析数据管理数据地图OneIDGProfileI+IDE，架构可视化模型

3、探索可视化分析可视化数据资产可视化产品可视化Link AnalysisModular AnalysisEmbedding AnalysisInference数据来源阿里生态内:阿里集团阿里全资子公司阿里控股子公司政府&企业阿里生态外:FLASH语言分布式计算引擎ODPSSpark其他反作弊UniIDGProfileOneGraphOnePrediction算法主要方向人 工 智 能 解 决 方 案 算 法 平 台数 据 清 洗算法层应用层模型层特征层电商行为特征设备行为特征LBS特征账号/设备静态特征信用等级行为质量规则引擎&业务系统异常检测监督&无监督学习特征联合校验评估层召回量&准确率监控

4、作弊账号/设备行为监控基于Graph的算法第三方业务评测业务指标监测APP渠道反作弊流量反作弊用户/设备质量&价值评估账户/设备/订单风险预测作弊动机&原因推断实时反作弊作弊设备识别数 据 清 洗 架 构全域识别与自动化标签生产系统回流优化全域识别：链接行为中心：标准标签工厂：自动全域数据接入数据应用全域实体识别全域输入电商视频音乐旅行O2O特征Word2VecNode2VecLSHSimHashMetapath2VecCRFOneHotLSTM归一化TFIDF上下文关系特征图片特征位置特征时间特征渠道特征设备特征主题特征行为特征其他特征识别输出网络关系特征实体标注实体消歧关系识别多模态关系推

5、断规则系统协同训练多模型迭代匹配协同映射映射强召回弱召回特征迭代补充强匹配筛选模型融合离线识别服务在线识别服务回流全域实体识别架构全域实体识别-特征模块实体特征Node2VecLocality-Sensitive HashingMetapath2Vec归一化图片特征位置特征时间特征渠道特征设备特征主题特征特征流输出特征流输出关系特征视频特征文本特征文本特征网络关系特征关注特征购买关系特征社交特征相等关系特征其他特征从属特征基础处理补全OneHotTFIDF反作弊图特征非结构化LINEStruct2Vec设备反作弊账号反作弊模拟器识别设备工厂Word2Vec多模态CNNLSTM全域实体识别-识别

6、模块实体标注大规模异构图多模型迭代匹配协同强召回弱召回特征迭代补充强匹配筛选模型融合特征流输入特征流输入规则引擎实体识别关系识别深度学习关系标注多视角交叉实体链接实体消歧多模态关系推断社区发现实体对齐自动化标签生产系统旅游出行物流用餐音乐视频线上购物线下消费支付健康资讯理财体育数据访问：服务化操作算子：比较算子逻辑算子匹配算子数据加工：行为规范明细层汇总层服务层标 签 丰 富 性标签生产数据源要求需求响应速度标签生产的复合能力异构数据源的融合与多渠道获取数据采集与加工处理过程