樊骏-大模型在小红书搜索的应用.pdf

1、樊骏 小红书社区搜索算法工程师小红书社区搜索算法工程师，负责搜索召回、query 分析、垂类检索等方向的技术研发。演讲主题：大模型在小红书搜索的应用大模型在小红书搜索的应用分享人：樊骏 小红书社区搜索算法专家快速了解小红书大模型与信息检索大模型在小红书搜索的应用实践了解小红书20130620182022NOW小红书诞生2013.09第一款产品小红书购物攻略PDF上线为用户提供 境外购物攻略指南，当月下载量突破50W2013.12小红书推出海外购物分享社区，小红书APP上线苹果商城小红书月活跃用户数突破5000w小红书月活跃用户数已超过2.6亿，月度创作者超过2000万，笔记日发布量300万篇小

2、红书社区内容覆盖时尚、美妆、个护、美食、旅行、娱乐、读书、健身、母婴、家具家装等各个生活方式领域经过近10年的累积，小红书特有的真实、向上、多元的社区氛围，不断吸引着越来越多的伙伴，探索着美好生活的更多可能性2014.01APP上线用户开始在这里分享自己的购物经验，社区形态初步建立2014.08小红书安卓版本上线2014.12自营电商“福利社”上线，希望帮助用户买到全世界的好东西2016技术引入算法推荐机制，在内容分发上实现了千人千面，让普通人的经验也可以被看见2020.07探索创建视频化内容社区，完成从图文到视频的转型2020.12小红书社区汇聚了全球200多个国家和地图近8万个品牌，成长为

3、全球最真实的消费口碑库独具特色的内容社区丰富的生活指南小红书搜索-遇事不决小红书月活超过两亿每日数亿次搜索高品质内容池每日新发布数百万篇笔记海量用户海量行为内容池增长CVSystemNLPML技术赋能内容为王技术致胜 独特的内容供给：真实，鲜活，有用 人与人的紧密连接：普通人的视角，过来人的经验 有用心智：遇事不决小红书小红书搜索的挑战出现频次头部尾部长尾现象严重 Query头部聚集效应弱 流量向长尾倾斜 多样复杂的用户表达意图理解难 生活类query占比高 多意图query数量多，难理解 下游链路承接多意图，挑战大火锅找本地火锅店？在家做火锅？好奇，随便看看？附近教程泛搜多模态 多种笔记类型

4、：图文、视频、商品、直播 多种数据类型：标题、正文、标签、图片、视频、OCR、字幕Generative Information Retrieval,SIGIR 2023 Keynote大模型与信息检索传统搜索引擎当代搜索引擎大模型与信息检索2022之前的主流方向，非“生成式”的“大”语言模型：BERTPre-training Methods in Information RetrievalDense Text Retrieval based on Pretrained Language Models:A Survey大模型与信息检索代表性的大语言模型（2024.10）A Survey of L

5、arge Language Models,https:/arxiv.org/pdf/2303.18223Large Language Models for Information Retrieval:A Surveyhttps:/arxiv.org/pdf/2308.07107大模型与信息检索大语言模型在信息检索的应用 分模块增强/替换：query改写，召回，排序，答案提取 作为检索代理：代替用户去执行搜索动作、拿到结果大模型与信息检索以模型为中心的信息检索（model-based IR）A Single Model for all Information Retrieval Taskshtt

6、ps:/arxiv.org/pdf/2105.02274大模型与信息检索生成式检索（generative information retrieval）Generative Information Retrieval-SIGIR-AP 2023 tutorialretrieval：调用生成模型自回归的生成docidindexing：将文档内容有效地嵌入到生成模型中大模型与信息检索检索赋能大模型Retrieval-Augmented Generation for Large Language Models:A Survey知识检索增强：检索作为工具，为大模型提供外部知识，提升生成质量LLM的短板幻