金海多模态RAG的实现.pdf

1、多模态 RAG 的实现和机遇InfiniFlowInfiniFlow 金海金海1234基于语义抽取的多模态 RAG基于 VLM 的多模态 RAG如何 Scale 基于 VLM 的多模态 RAG技术路线的选择基于语义抽取的多模态 RAGVision EncoderPatch EmbeddingVision EncoderText DecoderObject DetectionTextText多模态 RAG“雕花”还是？路线一:“雕花”n 嵌入式图片n 文档布局n 表格n 字体路线一:“雕花”Documents文档结构识别模型页眉页脚段落图片表格扫描？OCR文字换行检测NYChunking结果标题

2、补全图片截取表格结构识别模型流程图、饼图、柱状图Chunking结果多模态模型Chunking路线一的 RAG 架构切块切块切块切块全文索引向量索引稀疏向量索引表格布局模型文档布局模型Embedding模型向量稀疏向量Embedding 模型Tensor Reranker问题关键词知识图谱构建数据抽取模型查询改写模型图索引LLMAI Native DatabaseofflineonlineGarbage In,Garbage Out答案和引用生成ExtractionIndexingRetrievalGenerationRetrieval AugmentationQuery rewriting

3、modelReranking modelFused RankingRAGFlowInfinityDocument structure recognition modelTable structure recognition modelKnowledge graph construction modelEmbedding modelDocument parsingDense VectorSparse VectorFull TextTensorGraphStructured dataRAGFlow 的架构表格识别模型n 单元格边界判定n 表头信息判定n 单元格合并判定n 表格跨页判定表格识别模型C

4、ode BookCNN EncoderCNN DecoderImageTransformer EncoderTransformer Decoder VAEEncoderDecoder文档“大”模型Vision Encoder表格流程图饼图柱状图Transformer EncoderTransformer DecoderHTMLText Decoder基于 VLM 的多模态 RAG路线二：VLM引自 https:/huggingface.co/blog/vlmstextImageVLMtextinputoutput多模态 VLM 进展202320242025OpenAIGPT-4VOpenAIG

5、PT-4oGoogle Gemini FlashGoogle PaliGemmaMS Phi-3.5-visionQwen2-VL-7B-InstructAnthropic Claude早期应用：VLMs for searchingOpen source/Open weights商业AccuracyPaliGemmaQwen2-VL-7BColPali:基于 VLM 的搜索系统ColPali:基于 VLM 的搜索系统提问：2019年一天当中平均哪个小时电力消耗最高？406080AVGBiPaliColPali58.881.3ColPaliContextualized Late Interact

6、ion over PaliGemman 从 VLM 生成 Contextualized Embeddingn 基于延迟交互模型捕获文本查询和图像的相似度延迟交互模型QueryDocument PassageTransformerTransformerEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingEmbeddingPoolingPoolingEmbeddingEmbeddingSimilarityQueryDocument PassageTransformerMLPScoreDua