刘卫文-大模型时代推荐系统的发展路径及未来趋势-2024-final.pdf

1、大模型时代推荐系统的发展路径及未来趋势刘卫文目录n推荐系统问题和背景n推荐系统发展趋势图n深度学习时代：列表式：特征交互及用户行为建模 对话式：基于物品或属性的对话推荐n大语言模型时代：列表式：“何处”“如何”使用LLM 对话式：提示工程或微调nAI agent时代：单智能体 多智能体n未来发展方向及挑战个性化推荐系统n个性化:基于用户历史行为数据（评分、浏览、购买历史）学习用户兴趣和偏好，并提供用户可能喜欢的商品和服务n目标:以最少的交互代价(interactive cost)，获取更多有效信息(effective information)Netflix个性化视频推荐结果Spotify个性化

2、推荐音乐列表两种交互模式：列表式和对话式n推荐结果以列表形式（横向、纵向）展示列表式推荐对话式推荐帮我推荐个歌听吧好的，请问你要听什么类型的歌？流行吧你想听谁的歌呢？周杰伦可以吗？可以的为你推荐周杰伦的晴天，希望你喜欢晴天 周杰伦n推荐结果以多轮对话形式呈现目录n推荐系统问题和背景n推荐系统发展趋势图n深度学习时代：列表式：特征交互及用户行为建模 对话式：基于物品或属性的对话推荐n大语言模型时代：列表式：“何处”“如何”使用LLM 对话式：提示工程或微调nAI agent时代：单智能体 多智能体n未来发展方向及挑战推荐系统发展趋势图n三个关键技术：深度学习，大语言模型，LLM智能体n发展趋势：

3、用户获取到的有效信息增加，用户获取信息的交互成本降低目录n推荐系统问题和背景n推荐系统发展趋势图n深度学习时代：列表式：特征交互及用户行为建模 对话式：基于物品或属性的对话推荐n大语言模型时代：列表式：“何处”“如何”使用LLM 对话式：提示工程或微调nAI agent时代：单智能体 多智能体n未来发展方向及挑战深度学习时代列表式推荐n广泛应用于现代商业推荐系统，产生巨大商业价值：DeepFM 华为，2016，DCN Google,2017，DIN 阿里，2018深度学习时代列表式推荐：典型深度推荐网络n输入层：用户行为序列：点击、购买、收藏等 用户特征：年龄、性别、学历等 物品特征：价格、颜

4、色、描述等n独热编码层：表示类别数据n向量嵌入层：将稀疏数据转为连续表征n特征交互层：建模特征间交互关系：内积、Attention，GNN等用户行为序列用户特征物品特征独热编码层向量嵌入层特征交互层前馈层输入层深度学习时代列表式推荐：特征交互学习乘法操作n显式建模特征之间交互nDeepFM 华为，IJCAI16：将FM二阶交互与DNN结合nDCN 谷歌，AdKDD17：将层与层之间进行向量的逐项乘积，学习高阶特征交叉卷积操作nFGCNN 华为，WWW17：建模局部特征交互nFiGNN CIKM19：将特征作为图节点，构建全连接图，学习特征间交互注意力机制nAutoInt CIKM19：使用自注

5、意力机制建模任意特征之间交互nFiBiNet RecSys19：学习特征之间的特征动态交互深度学习时代列表式推荐：用户行为建模传统行为建模n单行为简单序列nDIN 阿里，KDD18：利用注意力机制从行为中学习用户兴趣nCAN ArXiv20：生成动态网络权重建模目标物品和历史物品间交互多行为序列n多种行为序列nMB-STR 华为，SIGIR22：将多种行为统一为一个异质行为序列，设计对应注意力机制建模目标物品和历史物品间交互多属性序列n利用行为序列中的ID外多种属性nSC-CNNCIKM22：将历史中的物品属性构建为一个三维张量，使用CNN建模物品多属性之间关联关系超长行为序列n由用户超长行为

6、序列中学习用户完整兴趣nSIM 阿里，CIKM20：根据目标物品从超长行为序列中检索nETA ArXiv21：利用LSH和海明距离检索深度学习时代列表式推荐：问题和局限性n用户隐式反馈信号较难学习 用户点击、浏览信号噪声大且稀疏，较难直接提取用户兴趣 受位置偏置、用户误触、自动播放等影响n缺乏语义信号 仅通过协同信号忽略了物品间的语义关联关系 缺乏可解释性深度推荐模型对话推荐模型大语言模型增强的推荐模型隐式反馈缺乏语义信号多轮交互获得显式反馈强化语义理解能力目录n推荐系统问题和背景n推荐系统发展趋势图n深度学习时代：列表式：特征交互及用户行为建模 对话式：基于物品或属性的对话推荐n大语言模型时