徐传宇—推荐级联全链路去偏.pdf

1、推荐级联全链路去偏徐传宇-阿里巴巴-推荐算法DataFunSummitDataFunSummit#20242024Attention!淘天集团-1688事业部-搜索推荐算法团队，诚聘搜索推荐nlp算法人才，真大量hc业务增速快，技术氛围浓，团队过往绩效好，未来空间大简历投递邮箱：，欢迎咨询！背景介绍精排样本选择偏差粗排样本选择偏差重排流行度偏差目录 CONTENTDataFunSummitDataFunSummit#2024202401背景介绍底池召回粗排精排曝光点击成交模型数据1.1.选择偏差选择偏差(Selection Bias)Selection Bias)：线上打分空间与模型离线训的样

2、本空间不一致练。现有的粗排和精排存在样本选择偏差。2.2.流行性偏差流行性偏差(Popularity Bias)Popularity Bias)：重排使用精排pointwise的打分结果，会使得用户的曝光商品类目不断缩小聚集，热门商品流量不断放大，最终影响用户逛买体验。1.背景DataFunSummitDataFunSummit#2024202402粗排样本选择偏差底池召回粗排精排曝光点击成交模型数据线上打分空间离线训练空间曝光点击曝光未点击进粗排样本是否精排topK/曝光 新样本原有样本3.1 粗排样本空间1.1.全链路样本全链路样本粗排目前的训练样本使用了曝光样本曝光样本,未使用粗排候选集

3、合,导致存在SSB问题。从item id来看，样本前后的itemid数量翻了一倍。这一部分对整体的贡献在60%左右。2.2.模型模型LossLoss优化优化粗排更关注提升腰部hitrate800而不是头部的排序能力，通过引入Pairwise loss，在保持模型准度的基础上提升模型排序能力模型排序能力，这一部分对整体的贡献在20%左右。其中，代表模型预估样本i比j更“相关”的概率，即两条样本模型pointwise输出logit的差值。3.3.模型结构优化模型结构优化粗排因为性能问题，无法使用target attention。使用用户历史序列N-1个商品与第N个商品作attention，使模型学

4、习用户近期兴趣。这一部分对整体的贡献在20%左右。3.2 粗排整体优化1.1.评估指标。评估指标。AUC 评估排序能力。但对粗排而言，任务是筛选进入精排的topK商品集合，所以使用hitrate来评价模型更合理。计算场景内点击hitrate和粗排精排一致性hitrate，具体定义如下。3.3 指标解读效果：效果：实验桶场景内一致性hitrate10+0.4，hitrate50+0.5，hitrate100+0.62 2.其它数据指标其它数据指标DataFunSummitDataFunSummit#2024202403精排样本选择偏差底池召回粗排精排曝光点击成交模型数据线上打分空间离线训练空间曝

5、光成交曝光未成交未曝光成交未曝光未成交新增样本原有样本2.精排样本空间2.1方案方案一：方案一：ctr模型中粗排返回落打点日志，与全网成交join生成正负样本。离线无提升方案二：方案二：样本同上，loss中加入Rank_loss,区分首猜成交&全域成交，让首猜的cvr预测值全域Rank_loss=-p,：pointwise差值样本样本featurfeatureses首猜成交首猜成交labellabel全域成交全域成交labellabel是否成交是否成交首猜曝光1/01/0粗排返回(未曝光)11粗排返回(未曝光)00新增样本思考：不是要去分首猜成交和全域成交。需要区分全域成交，哪些在首猜中曝光更

6、容易被成交（场景消偏）Ref:Entire Space Learning Framework:Unbias Conversion Rate Prediction in Full Stages of Recommender System.Shanshan Lyu and Qiwei Chen etl.DLP-KDD 2022首猜ctcvr模型曝光序列全网成交模型首猜成交排最前未考虑全网成交全网成交排前面未区分是否适合首猜成交首猜成交全网成交全网未成交首猜成交全网成交全网未成交全域学习模型适合首猜成交全网成交全网未成交场域成交模型P(首猜成交|粗排返回)=P(全网成交|粗排返回)*P(首猜成交|全