陈玉祥-HugeCTR 在陌陌推荐系统的实践.pdf

1、HugeCTR在陌陌推荐系统的实践陈玉祥2024 陌陌Agenda1.推荐系统在陌陌的应用2.推荐系统模型训练挑战3.HugeCTR 与 陌陌实践4.总结讨论&OneMoreThing推荐系统在陌陌的应用推荐系统简介陌陌推荐系统应用陌陌推荐系统的推广SoulChill探探赫兹推荐系统模型训练挑战推荐系统模型演进推荐系统模型的特点近百亿稀疏参数模型巨量 User、Item ID Embedding个性化的关键超大规模稀疏参数推荐系统模型的特点超越 CTR 的多目标融合：MMOE、PLE、ESSM不断演进的模型骨架：MLP、Wide&Deep、DeepFM、xDeepFM演进路线复杂复杂多变的 D

2、ense 模型传统 PS 方案的局限传统 PS 方案的局限我们需要的训练框架天级样本训练近4小时，模型无法充分训练近百亿稀疏参数模型，需要大量 PS 机器模型迭代速度成为瓶颈速度快，模型大，性价比高HugeCTR 与 陌陌实践HugeCTR SOK 框架整体训练框架Horovd+Tensorflow Embedding 分片存储训练时 Nvlink 通信陌陌实践优化：天级训练陌陌实践优化总结 CPU PS+GPU worker 到纯 GPU 训练方案 大规模 Sparse Embedding 按 GPU 分片存储 训练时通信由以太网改成 NVLINK 充分利用 Tensorflow XLA 与 Dataset 优化 内存分配 NUMA 亲和总结讨论One More Thing优化总结依靠软件充分发挥 V100/A100/H100 算力吃尽硬件红利All You Need Is Super ComputerOne More Thing依靠 Transformer 提供更深入的特征提取能力，期待大模型在推荐领域的涌现成熟的推荐系统亟待突破推荐模型引入 TransformerThank you陈玉祥陌陌