荣耀-冯晓东-大模型在荣耀推荐和广告场景的应用实践-AICON20251218.pdf

1、大模型在荣耀推荐和广告大模型在荣耀推荐和广告场景的应用实践场景的应用实践演讲人：冯晓东目录目录010203040506荣耀的推荐场景介绍推荐算法模型和大模型的特点分析基于大模型的特征工程基于大模型的训练与推理总结与展望14000+70%+11.5%300+52000+2.5亿+员工研发人员占比研发投入营收占比专利月申请量体验店与专区专柜在网设备数全球领先的AI终端生态公司注：数据截至2023年12月荣耀终端股份有限公司介绍新定位从智能手机制造商转型成为全球领先的AI终端生态公司新战略第一步 打造智能手机第二步 构筑智慧生态第三步 拥抱智慧世界新愿景以人为本，科技与人文结合，最大程度释放人类潜能

2、荣耀公司新定位01荣耀的推荐场景介绍搜索、推荐、广告、游戏荣耀的推荐场景荣耀的推荐场景搜索推荐广告游戏环球行钱包荣耀云天气浏览器视频阅读音乐主题YOYO建议YOYO智能体智慧空间应用市场游戏中心搜索负一屏账号游戏管家消费者魔法画报广告主广告主ROIROI用户体验用户体验平台收益平台收益荣耀的推荐场景荣耀的推荐场景20+应用30+场景：多场景多场景单场景10+目标：多目标多目标亿级活跃用户：海量样本海量样本用户日均10+行为：超长行为序列超长行为序列广告业务追求三角的平衡，对算法提出更高要求多模态内容理解多模态内容理解内容侧：图文和视频内容的特征挖掘用户侧：刻画用户对不同类型营销素材的偏好更精准

3、的排序模型更精准的排序模型推荐：精准的顺序保证用户体验和分发效率广告：精准的预估分保证流量的收益02推荐算法模型和大模型的特点分析推荐算法结构演进及特点大语言模型的演进及优势大模型与推荐的结合方式推荐算法结构演进及特点推荐算法结构演进及特点特征交互协同过滤序列多任务LRW&DDeepFmDCNFibinetRNNDINBSTTWINTINFinalMLPMIRRNMMOEPLESTARHiNetPEPNetHoME模型训练模型训练算法结构与训练框架MOEMOE机制机制长序列与长序列与A Attentionttention特征选择与深度交互特征选择与深度交互特征工程特征工程特征和样本模型推理模型

4、推理低时延与推理框架线下天花板：大量特征挖掘和样本归因线上天花板：50ms时延限制计算量和模型大小大语言模型的演进及优势大语言模型的演进及优势GPT1GPT52025 10000B2018 0.12BQwen3DeepSeek-V3.2685B预训练能力预训练能力多模态数据（文本、图像、音频、视频）最高 1,000,000 Token 上下文长度覆盖更多领域和长尾知识序列处理能力序列处理能力Self-AttentionFlash AttentionDeepSeek Sparse Attention训练推理能力训练推理能力MOEKV Cache强化学习235BLlama 4288BGemini

5、2.5175B特征工程和冷启动特征工程和冷启动用户超长用户超长/全生命周期序列全生命周期序列多场景多任务多场景多任务大模型与推荐的结合方式大模型与推荐的结合方式原始数据原始数据特征数据特征数据算法模型算法模型MOEhstu单元大模型（离线）embedding文本图像音频结构化特征基于大模型的特征工程基于大模型的特征工程基于LLM的多模态内容理解基于LLM的embedding提取1基于大模型的训练与推理基于大模型的训练与推理基于对比学习的方式基于MOE的方式基于HSTU的方式2高阶特征03基于大模型的特征工程基于LLM的多模态内容理解基于LLM的embedding提取基于大模型的特征工程基于大模

6、型的特征工程Agent pipeline标签体系构建tag1tag2tag3标签字段名称注释creative_id创意IDscreen_orientation素材展示屏幕方向duration视频类型资产的时长信息ratio素材长宽比例color色系clarity清晰度brigthness明暗度tone色温person人物text原始文本text_length文本长度text_key_words文本关键词text_color文字颜色text_type广告素材类型object_type物体类型OCR模型（百度）多模态大模型（Qwen-VL）LLM分类文字类型素材类型图片类型 Prompt设计：限定