田昕晖 -云数据仓库 ByteHouse 架构下的 RAG 技术实践与性能优化.pdf

1、云数据仓库 ByteHouse 架构下的 RAG 技术实践与性能优化演讲人：田昕晖火山引擎/ByteHouse 技术团队目录RAG 相关技术简介高性能向量检索技术全文检索&混合检索GraphRAG 实践Conclusion&DiscussionRAG 相关技术简介Naive RAGHybrid SearchRRF:(Reciprocal Rank Fusion)基于排名重排 同时考虑语义及关键字信息 GraphRAG文本-大模型-图结构检索关联性信息，全局信息Q:Which public figures are repeatedly mentioned across various enter

2、tainment articles?Agentic RAGhttps:/langchain-ai.github.io/langgraph/tutorials/rag/langgraph_agentic_ragAdaptive RAGJeong,Soyeong,et al.Adaptive-rag:Learning to adapt retrieval-augmented large language models through question complexity.arXiv preprint arXiv:2403.14403(2024).Zhao,Siyun,et al.Retrieva

3、l Augmented Generation(RAG)and Beyond:A Comprehensive Survey on How to Make your LLMs use External Data More Wisely.arXiv preprint arXiv:2409.14924(2024).RAG 相关技术需求要解决的问题：如何让大模型利用外部知识库，回答符合预期的问题？Memory Engineering 如何获取准确的相关数据 如何让大模型回答的答案有效利用检索数据 性能数据处理：文本切分 向量提取 Rerank.高性能检索技术：向量检索（Dense&Sparse）全文检索

4、（关键词搜索）图检索 结构化信息检索 其他可以基于问题检索答案的相关技术 数据管理及操作基础机制：容错、鉴权、可扩展、灵活接口.大模型交互与性能优化：Prompt Engineering Agents SFT for RAG 模型结构 Retrieval 优化 其他幻觉消除及推理优化技术 数据层大模型层融合&混合搜索 向量+标量 向量+文本 稠密+稀疏向量 向量+图.高性能向量检索技术向量检索向量检索 For NLPhttps:/ 结构：向量索引 Table-based LSH Tree-based KD-Tree,Annoy Cluster-based IVF,SCANN,SPANN Gra

5、ph-based HNSW,NSG,DiskANNYusuke Matsui.Billion-scale Approximate Nearest Neighbor Search,ACM Multimedia 2020ANN 结构：向量索引Cluster-based：向量基于相似度分簇基于 Kmeans 训练聚类中心构建速度快，内存占用量较少检索时参与计算节点较多，高精度查询性能差https:/www.pinecone.io/learn/series/faiss/vector-indexes/ANN 结构：向量索引Graph-based（HNSW）：向量基于相似度建图构建时为每个节点维护最近邻信

6、息多层结构加速检索构建速度慢，内存占用量较多检索时参与计算节点较少，并发性能好https:/www.pinecone.io/learn/series/faiss/hnsw/向量压缩降低向量索引内存用量,以牺牲精度为代价Product Quantization Vector-Centroid IdsScalar Quantization Float-Int8Binary Quantization Float-Bithttps:/ Vamana 图结构图构建时间较长极大节省索引结构所占内存空间ByteHouse 简介数据库Database基础型软件，全行业通