詹建州-音频表征大模型在歌曲冷启中的应用与探索(2).pdf

1、频表征模型在歌曲冷启中的应与探索詹建州-腾讯乐-数据科学中-级算法程师DataFunSummit#202401 问题与背景介绍1.1背景介绍1.2问题介绍1.3应落地难点1.4常见使式02 基于(Item,Item)共现数据微调03 基于(User,Item)交互数据微调04 总结与展望录CONTENT第2页/共22页1.1 背景介绍QQQQ乐推荐内容现状乐推荐内容现状n 平台每天都有量新歌发布p 流量探索成本较p 部分歌曲流量推诉求n 乐内容命周期长,?可重复消费p top2W/10W歌曲播放占p 存量冷门/长尾歌曲值得挖掘优质长尾歌曲发表时间新冷第3页/共22页歌曲投放链路New Song

2、s些流量抓些流量抓召回粗排精排重排歌曲推荐链路1.2 问题介绍乐是艺术作品,常多元n 语种、流派、乐器、n 舒缓度、声、频表征刻画了通的、丰富多元的乐属性频表征刻画了通的、丰富多元的乐属性频表征对推荐可能有哪些帮助频表征对推荐可能有哪些帮助n 提供更全、更准确的内容理解能n 助新冷内容分发,?缓解马太效应n 新冷内容冷启问题新冷内容冷启问题n 现状:推荐系统主要是ID-based的,?户为驱动n 问题:新冷内容缺乏为交互,ID?embed学习频内容表征第4页/共22页1.3 应落地难点MotivationMotivationn 乐是多模态的,?频是乐的第属性n 特征是多维度的,?ID?embe

3、dding起主导作频表征在推荐系统落地的难点频表征在推荐系统落地的难点n 语义空间与推荐为空间不致的问题n 频表征维度(如512维),?上报&训练成本周杰伦本草纲为空间陈奕迅富下语义空间注:乐内容信息常丰富,较维度的表征更具有泛化性思路思路:利推荐系统中的数据降维映射利推荐系统中的数据降维映射 降维:对于推荐,维表征使成本&信息冗余 映射:对齐推荐任务为空间根据微调的数据可以分成根据微调的数据可以分成:n 内容视:输出分类型标签/特征n I2I视:利歌曲(Item,(Item,Item)Item)共现共现数据微调n U2I视:户歌曲(User,(User,Item)Item)交互交互数据微调第

4、5页/共22页映射&降维1.4 常见使式误区误区:直接直接concatconcat频表征频表征(或或PCAPCA降维降维)n 正向收益,甚指标负向n 根本原因:频语义空间与推荐为空间不致基于内容的分类基于内容的分类:标签化处理标签化处理n 输出离散型的语义标签信息流派分类流派分类纯声纯声纯器乐纯器乐声声+伴奏伴奏其他其他旋律性声旋律性声伴奏合唱伴奏合唱独唱独唱 旋律声旋律声 声学乐器声学乐器古典乐古典乐 电乐器电乐器电乐电乐 旋律乐旋律乐先锋乐先锋乐打击乐打击乐 旋律乐旋律乐 摇滚摇滚属属说唱说唱电乐电乐民谣民谣乡村乡村节奏乐节奏乐流流艺术乐艺术乐世界乐世界乐模型1-四类属性检测模型2-类流派

5、检测基于内容本处理基于内容本处理,与户为关与户为关例:歌曲投放应流派标签n 投放完播率+0.92%Audio Embedding(简称AE)第6页/共22页录CONTENT01 背景与问题介绍02 基于(Item,Item)共现数据微调2.1如何融I2I共现信号-MPE表征2.2MPE表征的应2.3如何对齐ID?Embed-MPE相似IDs2.4MPE相似Ids的应03 基于(User,Item)交互数据微调04 总结与展望第7页/共22页2.1 如何融I2I共现信号-MPE表征Music?Preference?Embedding(简称MPE)n模型输模型输p 需于定频次p 以偏好三元组进训练

6、n主络主络p Resnet34n训练训练LossLossp Triplet Lossn学习标学习标p 户偏好歌曲之间的内在关联性n模型输出模型输出p MPE embedding(40维)使推荐户为志的共现歌曲作为监督信号降维映射使推荐户为志的共现歌曲作为监督信号降维映射Encoder映射&降维第8页/共22页2.2.1 MPE表征的应(1)-投放I2I2UI2I2UI2I2U投放链路投放链路些细节些细节n 相似歌曲增加同语种约束p MPE检索同语种准确率很p 只是作为额外的兜底n 限制在推荐准池内查找p 更契合业务场景,提投放群匹配度n 实时获取收藏过相似歌曲的户投放Deliver第9页/共2