2020年终大会-推荐算法：3-6 深度排序模型在淘宝直播的演进和应用_56.pdf

1、阿里巴巴A深度排序模型在淘宝直播的演进与应用纪志辉年终大会2020DATAFUNTALK#page#演进之路201820192019202020202018laterMMoE多场景多任务多目标学习目标时序建模召回匹配建模两阶段召回匹配end-end召回匹配R2.MR3.02020全屏页上下滑RuLRank 1.CRUI Rank 2.0从业务需求、场景特点、应用发展出发RUI Rank3.0简单、通用、易维护、可选代more：multi-source RU Ranking年终大会阿里巴巴2020DATAFUNTALKA#page#DBMTL 1.0背景/动机业务诉求工业务生态：平台/用户（消费

2、）/主播（生产者优化目标时长/成交等算法角度多目标独立建模vanilla MTL成本高/数据稀疏/忽略目标间的信息共享ESMM多目标联合建模深度学习网络共享机制（feature-target）考虑目标时序因果性（target-target）相关工作重点堂目标独立vanilla MTL(base）hard parametersharingMMOEsoft parametersharingPLE目标关系GMSLMMoEESMMpCvr=pctr*pctrcvGMSL进店目标满足链式关系GRU时长不足：乘积或GRU都存限性年终大会阿里巴巴2020DATAFUNTALKA#page#DBMTL 1.0

3、Deep Bayesian Multi-task Learning 1.0 （2018）方法：贝叶斯网络建模（复杂）目标（时序）关系目的：多目标联合学习似然函数P（t1,t2,t3|x,H）=P（t3|c1,t2,x,H）=P（t1,r2lx，H）=P（t3lt1，t2,x，H)*P（r2|t1xH）*P（tllx，H）Loss函数-L(x,H）=wl+log(P（c3|c1,c2,x,H）)+w2log(P（t2ltl，x，H）+w3*log(P（tilx，H）DBMTL1.0深度网络信息共享层（feature-target）：hardparametersharing贝叶斯层（targett

4、arget）：通过前序目标的输出作为后序目标的输入刻画概率转移关系特征提取器：MLP（logits前一层）在线预估加法公式f（t1,t2,t3,t4,t5）=wl*f（t1）+w2=f（t2)+w3*f（3）+w4*f（t4）+w5=f（t5）乘法公式f（t1,t2,t3,t4,t5)=（wl*f（t1)）*（w2=f（t2)+w3+f（t3）)*（w4+f（t4)+w5*f（t5）效果加法公式：对比vanillaMTL，pctr+4.4%，人均时长+5.0%，关注率+2.9%，宝贝袋点击率+3.1%乘法公式：对比加法公式，pctr基本持平，人均时长+5.4%，关注率+3.3%，宝贝袋点击率+

5、3.1%，点赞率+5.1%，评论率年终大会阿里巴巴2020DATAFUNTALK#page#DBMTL2.0Deep Bayesian Multi-task Learning 2.0 （2019）背景/动机DBMTL1.0targettarget：贝叶斯网络featuretarget：hard parametersharing目标越来越多，网络规模越来越大人为定义网络效率低，需要一种自适应学习方法模型升级featuretarget:soft parameter sharingMulti-gate Mixture-of-Experts（MMoE）Expert设计：MLP（DNN）Gate设计：L

6、inear Transform+SoftmaxDBMTL2.0灵活地自适应学习不同任务对共享网络的选择增加其他目标并不会增加网络的复杂度效果对比DBMTL1.0，pctr+2.6%，uctr+2.8%，人均时长+1.7%，其他互动指标略有提升推广哇哦视频、lazadafeeds、ICBU猜你喜欢等，均取得明显效果提升应用双十GMV优化，引入进店/成交/成交额等相关目标变/成交预估打分时倾向于成交相关指标，ipvpctr+6.5%，成交pctr+10.8%，人均gmv年终大会阿里巴巴2020DATAFUNTALK#page#DBMTL3.0Deep Bayesian Multi-task Lea