艾清遥-动态化与参数化 RAG 技术探索.pdf

1、动态化与参数化RAG技术探索艾清遥目录0001020304背景与动机生成中的动态信息需求建模检索与生成的动态信息解耦基于参数化知识注入的检索增强未来展望大语言模型的崛起 作为信息工具，大模型有诸多优点优点：自然的用户交互方式用户交互方式 自然语言理解理解与推理推理能力 强大的任务泛化任务泛化能力获取1亿用户所用时间大语言模型的崛起 与传统检索系统相比，大模型也存在致命缺陷：严重的幻觉幻觉问题 无法追溯的信息来源信息来源 极高的成本成本和极低的灵活性灵活性检索增强的生成范式 RAG 检索增强的生成范式（RAG）是解决大语言模型上述问题的最有效方式“What is RAG?”RAG stands

2、for Retrieval-Augmented Generation.Its an AI framework that combines information retrieval and text generation to improve the quality and accuracy of generated content.How RAG Works:检索增强生成与知识注入LLMinstructionprompt contextUser InputRetrieval SystemsResponseDocDocDocDocDocDocDocDocDocDocDocDocDocDocDo

3、cDoc 检索增强生成的本质是一种对生成式大模型进行外部知识注入的方式检索增强生成与知识注入LLMinstructionprompt contextUser InputRetrieval SystemsDocDocDoc 常见方法 默认大模型时刻都需要时刻都需要外部知识 让用户点选用户点选是否大模型需要外部知识“Deep Research”人工定义人工定义工作流，并按工作流进行检索调用 把检索功能当成工具，并训练大模型训练大模型使用?大模型何时需要外部知识何时需要外部知识 的注入？检索增强生成与知识注入LLMinstructionprompt contextUser InputRetrieva

4、l SystemsDocDocDoc 常见方法 直接把用户输入用户输入当成查询词“Deep Research”人工定义人工定义查询词生成工作流 提示提示或者训练大模型训练大模型来提出查询词?大模型如何生成合适的查询如何生成合适的查询 来检索外部知识？检索增强生成与知识注入LLMinstructionprompt contextUser InputRetrieval SystemsDocDocDoc?如何将检索到的外部知识注入外部知识注入大模型？常见方法 直接把外部文档放进放进提示词提示词“Deep Research”人工定义工作流人工定义工作流进行多步拆解 最终将外部知识文字放进提示词放进提示

5、词执行检索增强生成与知识注入LLMinstructionprompt contextUser InputRetrieval SystemsResponseDocDocDocDocDocDocDocDocDocDocDocDocDocDocDocDoc问题：是否可以深入探索大模型的内部状态内部状态和信息流动信息流动，构造出更加性能更好性能更好且效率更高效率更高的检索增强框架呢？本质上，已有的检索增强技术均把大模型当成一个静态黑盒静态黑盒使用动态化与参数化的检索增强生成LLMinstructionprompt contextResponse 在且只在大模型需要只在大模型需要时进行检索 分析大模型的

6、内部激活情况 量化生成过程中的不确定性大小Su et al.2024 Quevedo et al.Herrlein et al.实时监测可能幻觉的生成Su et al.2024 Ji et al.2024 Song et al.2024 Hallucination!X 深入探索大模型的内部状态，实现动态化、参数化的高效外部知识注入动态化与参数化的检索增强生成 精准建模大模型需求精准建模大模型需求 的查询信息 实时捕捉大模型推理过程中的信息需求Su et al.2024 Dong et al.2025 基于大模型的内部状态构建查询词/向量Su et al.2024 Dong et al.2025