快手精排CTR模型实践-牛亚男.pdf

1、快手精排CTR模型实践社区科学部 牛亚男 自我介绍 快手推荐系统 CTR模型 PPNet 多domain多任务学习框架 短期行为序列建模 长期行为序列建模 千亿特征，万亿参数模型 总结和展望Agenda2017年加入快手快手精排模型组负责人负责场景主站双列发现页，精选极速版发现页短视频推荐超3亿用户，数百亿分发快手核心迭代&活动双列，设置版，极速版，精选，全局上下滑K3，春节红包 etc.自我介绍类信息检索范式用户无显式query推荐系统数据漏斗结构 候选集 tens of billions 召回（Retrieval）排序（Ranking）粗排 tens of hundreds 精排 hund

2、reds 重排 tens快手推荐系统快手推荐特点 数亿用户，百亿短视频 行为数据差异大 内容更丰富，玩法多样 用户兴趣广泛&多变 用户交互类型多，场景复杂挑战：用户兴趣精准建模！快手推荐系统主站发现页极速版发现页关注页同城页直播电商直播主站精选主站发现页内流个性化预估模型是推荐系统的核心 预估用户click的概率 预估效果直接影响用户体验业界模型演化 从特征，行为序列提升模型个性化 DNN核心为全连接网络（FCN）全局共享DNN作用 所有用户视频共享 捕捉全局用户视频语义模式 但没有用户个性化启发：如何为DNN网络增加个性化？模型演化CTR模型双列发现页全局网络+个性化局部网络 现有DNN网络

3、stack用户网络 Resnet layer用户个性化偏置 LHUC算法 learninghiddenunitcontributions 激活函数乘以个性化偏置 DNN网络乘用户个性化偏置 初始为1向量问题 单用户行为不足以保证收敛 不稳定的网络导致embedding变差 User bias vector缺少动态表征能力Stacking 方法CTR模型CTR模型个性化偏置全局网络+个性化局部网络 现有DNN网络stack用户网络 Resnet layer用户个性化偏置 LHUC算法 learninghiddenunitcontributions 激活函数乘以个性化偏置 DNN网络乘用户个性化偏

4、置 初始为1向量问题 单用户行为不足以保证收敛 不稳定的网络导致embedding变差 User bias vector缺少动态表征能力CTR模型全局网络+个性化局部网络 现有DNN网络stack用户网络 Resnet layer用户个性化偏置 LHUC算法 learninghiddenunitcontributions 激活函数乘以个性化偏置 DNN网络乘用户个性化偏置 初始为1向量问题 单用户行为不足以保证收敛 不稳定的网络导致embedding变差 User bias vector缺少动态表征能力Stacking 方法个性化偏置PPNet 全局共享为基础，个性化微调 设计gate网络拟合

5、个性化偏置参数 Base网络不BP通用的提升模型个性化方法 与特征优化方法正交 DNN模型通用 多场景应用GPU加速预估服务 服务性能显著提升 机器成本优化 GPU预估PPNetCTR模型 PPNet（Parameter Personalized Net）多domain多任务学习框架双列发现页底导精选发现页内流极速版业务背景多产品，多场景主站发现页主站精选发现页内流极速版发现页多人群新用户，老用户，etc.多交互 几十个目标问题业务独占模型训练资源低效迭代低效业务间不共享网络不能动态建模目标，业务间关系老用户新用户低活用户多domain多任务学习框架业务背景多产品，多场景主站发现页主站精选发现

6、页内流极速版发现页多人群新用户，老用户，etc.多交互 几十个目标问题业务独占模型训练资源低效迭代低效业务间不共享网络不能动态建模目标，业务间关系精排模型预估目标（部分）多domain多任务学习框架业务背景多产品，多场景主站发现页主站精选发现页内流极速版发现页多人群新用户，老用户，etc.多交互 几十个目标问题业务独占模型训练资源低效迭代低效业务间不共享网络不能动态建模目标，业务间关系目标：模型融合下多任务学习挑战交互，样本，目标差异特征语义差异Embedding分布差异特征重要性差异多目标表征差异精排模型预估目标（部分）多domain多任务学习框架EVA model算法框架特征语义对齐删减无