黄国航一站式RAG方案开启智能搜索新时代.pdf

1、演讲嘉宾：黄国航，腾讯云大数据 ES 专家工程师1生活处处有搜索2初识检索模型3从Lucene到ES4大模型与RAG5一站式向量检索与RAG方案6案例实践生活处处有搜索生活中的搜索搜索引擎(Search engine)是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，为用户提供检索服务的系统。网站目录通用搜索引擎音频搜索视频搜索生成式搜索 搜索技术的演进搜索技术的演进文本搜索文本搜索向量搜索向量搜索大模型问答大模型问答倒排索引倒排索引&精准高效精准高效向量化向量化&语义相关语义相关神经网络神经网络&总结回答总结回答分类检索分类检索分类整理分类整理&手工查找手

2、工查找技术演化技术演化搜索体验搜索体验业界趋势：生成式搜索传统搜索生成式搜索初识检索模型分词算法与倒排索引文档1:分词算法与倒排索引文档2:分词算法的原理文档3:倒排索引的原理文档1:分词算法|与|倒排索引文档2:分词算法的原理文档3:倒排索引|的|原理分词词项词项文档文档1 1文档文档2 2文档文档3 3分词算法分词算法与与倒排索引倒排索引的的原理原理词项词项文档频率文档频率倒排记录表倒排记录表分词算法分词算法2 21-21-2与与（停用词）（停用词）1 11 1倒排索引倒排索引2 21-31-3的的（停用词）（停用词）2 22-32-3原理原理2 22-32-3倒排索引经典检索模型经典检索

3、模型布尔检索模型布尔检索模型基于布尔逻辑（基于布尔逻辑（AND,OR,NOTAND,OR,NOT）来组合关键词。返回的结果是来组合关键词。返回的结果是满足布尔表达式的文档集合。满足布尔表达式的文档集合。优点：优点：结构简单，易于理解和实现。结构简单，易于理解和实现。查询精确，用户可以通过精心设计查询精确，用户可以通过精心设计的布尔查询语句获得非常具体的结果。的布尔查询语句获得非常具体的结果。概率空间模型概率空间模型基于概率论，使用文档集合中的基于概率论，使用文档集合中的统计信息来估计文档满足用户查统计信息来估计文档满足用户查询的概率。询的概率。缺点：缺点：缺乏灵活性，无法处理部分匹配或缺乏灵活

4、性，无法处理部分匹配或模糊匹配的情况。模糊匹配的情况。不提供结果排序功能，所有结果同不提供结果排序功能，所有结果同等重要，用户需要手动检查。等重要，用户需要手动检查。对用户查询能力要求较高，需要用对用户查询能力要求较高，需要用户准确知道自己想要什么。户准确知道自己想要什么。优点：优点：结果具有概率解释，可以根据概率结果具有概率解释，可以根据概率排序。排序。通常比布尔模型和向量空间模型更通常比布尔模型和向量空间模型更精确。精确。缺点：缺点：参数选择和模型调整可能比较复杂。参数选择和模型调整可能比较复杂。对于缺乏足够统计信息的小型文档对于缺乏足够统计信息的小型文档集合，性能可能不佳。集合，性能可能

5、不佳。向量空间模型向量空间模型将文档和查询表示为向量，每个将文档和查询表示为向量，每个维度对应一个词项。通过计算文维度对应一个词项。通过计算文档向量和查询向量之间的余弦相档向量和查询向量之间的余弦相似度来评估相关性。似度来评估相关性。TF-IDFTF-IDF权重模型权重模型评估一个词在文档中的重要性，评估一个词在文档中的重要性，结合了词频（结合了词频（TFTF）和逆文档频和逆文档频率（率（IDFIDF）。）。TF-IDFTF-IDF值高的词被值高的词被认为在文档中更重要。认为在文档中更重要。优点：优点：允许部分匹配，提供了查询和文档允许部分匹配，提供了查询和文档之间的相似度评分。之间的相似度评

6、分。结果可以根据相关性进行排序，提结果可以根据相关性进行排序，提高了用户体验。高了用户体验。缺点：缺点：高维空间可能导致计算成本高。高维空间可能导致计算成本高。忽略了词项的位置信息，可能会影忽略了词项的位置信息，可能会影响结果的准确性。响结果的准确性。优点：优点：简单有效，能够过滤掉常见词，强简单有效，能够过滤掉常见词，强调重要词项。调重要词项。被广泛用于文档检索和文本挖掘。被广泛用于文档检索和文本挖掘。缺点：缺点：不能很好地处理同义词和多义词问不能很好地处理同义词和多义词问题。题。忽略了词序和语境信息。忽略了词序和语境信息。全文检索全文检索通过分词技术、倒排索引以及贝叶斯算法等，统计词语与文