自增强优化的检索增强大模型技术-庞亮-v1.pdf

1、突破参数知识边界：自增强优化的检索增强大模型技术庞 亮目录01RAG 的技术背景与核心挑战的技术背景与核心挑战02在信息检索视角下构建用户反馈优化的在信息检索视角下构建用户反馈优化的RAG 实例实例03在大模型视角下高效利用外部知识的在大模型视角下高效利用外部知识的RAG 实例实例04未来方向与行业启示未来方向与行业启示01RAG 的技术背景与核心挑战What：检索增强大模型经典的检索增强生成的流程信息检索外部语料库文档列表答案问题问题大语言模型RetrieverGenerator知识边界的定义三种知识边界外部知识边界（Outward Knowledge Boundary）参数化知识边界（Pa

2、rametric Knowledge Boundary）通用知识边界（Universal Knowledge Boundary）四种类型的知识提示无关的已知知识 Prompt-Agnostic KnownKnowledge(PAK)提示敏感的已知知识 Prompt-Sensitive KnownKnowledge(PSK)模型特定的未知知识 Model-Specific UnknownKnowledge(MSU)模型无关的未知知识 Model-Agnostic UnknownKnowledge(MAU)Knowledge Boundary of Large Language Models:A

3、Survey,ACL 2025Unveiling knowledge boundary of large language models for trustworthy information access,SIGIR 2025Model-Agnostic Unknown KnowledgeModel-Specific Unknown KnowledgePrompt-Sensitive Known KnowledgePrompt-Agnostic Known KnowledgeOutward Knowledge BoundaryParametric Knowledge BoundaryUniv

4、ersal Knowledge Boundary参数化知识边界（Parametric Knowledge Boundary）Model-Agnostic Unknown KnowledgeModel-Specific Unknown KnowledgePrompt-Sensitive Known KnowledgePrompt-Agnostic Known KnowledgeParametric Knowledge Boundary参数化知识边界，定义了某个特定LLM 的抽象知识边界.位于该边界内的知识是指：其已被模型参数所掌握，并且能够通过中至少一个表达式进行验证的知识.信息检索外部语料库文

5、档列表生成内容问题问题利用信息检索连接外部知识库和大语言模型的参数内知识大语言模型外部语料库知识内部参数知识Why：知识融合的角度How：检索增强大模型的研究路径 信息检索的视角 大模型的视角信息检索外部语料库DocumentList答案问题问题大语言模型RetrieverGenerator02在信息检索视角下构建用户反馈优化的 RAG 实例How1：检索视角下的检索增强大模型传统的信息检索模型针对人类用户优化，那什么是适合大语言模型的信息检索模型？应用任务纷繁复杂需求：任务泛化性Constraint in Text Rep.for Dense Retrieval Constraint 1:S

6、emantic Unit Balance Constraint 2:Essential Matching Unit ExtractabilityHow1：检索视角下的检索增强大模型传统的信息检索模型针对人类用户优化，那什么是适合大语言模型的信息检索模型？()计算代价指数级需求：信息精准性RankingRerankingTruncationRanking ListRanking ListRe2GGenRT但流量入口的战争仍旧劣势1 Image source:OneLittleWeb2024 年，人工智能聊天机器人仅占据 2.96%的搜索流量。为什么生成式人工智能搜索引擎尚未达到传统搜索引擎的规模