02-QAnything：大模型驱动下的知识库问答体系革新与实践.pdf

1、QAnythingQAnything：大模型：大模型驱动下的知识库问答驱动下的知识库问答体系革新与实践体系革新与实践演讲人：冯江涛网易有道QAnything首席架构师自研自研RAGRAG引擎、支持全离线私有化轻松部署、引擎、支持全离线私有化轻松部署、官网官网:qanything.ai:qanything.aiQAnything演化史QAnything系统QAnything开源QA x OpenCloudOS02030401目录问题是钉子QAnything是锤子01从文档翻译到文档问答从文档问答到有道速读从有道速读到小P老师从小P老师到QAnythingQAnything演化史团队的原始积累OC

2、R图片翻译（图片翻译（2017-20192017-2019）文档翻译（文档翻译（2018-20222018-2022）文档问答（文档问答（2023-20242023-2024）QAnything演化史团队的原始积累NMT图片翻译（图片翻译（2017-20192017-2019）文档翻译（文档翻译（2018-20222018-2022）文档问答（文档问答（2023-20242023-2024）QAnything演化史进阶：文档问答图片翻译（图片翻译（2017-20192017-2019）文档翻译（文档翻译（2018-20222018-2022）文档问答（文档问答（2023-20242023-20

3、24）OCR+NMTOCR+NMT bm25+bm25+子曰大模型子曰大模型QAnything演化史从文档问答到有道速读有道速读：有道速读：https:/ PDFPDF解析（跨页、分栏组段）解析（跨页、分栏组段）多语种、跨语种多语种、跨语种EmbeddingEmbedding 比比OpenAI EmbeddingOpenAI Embedding速度快，效果好速度快，效果好QAnything演化史从有道速读到小P老师2023Q4-2024Q12023Q4-2024Q1多模态识别多模态识别 文本、图像、语音、输入AIAI智能解答智能解答 答案解析、知识点视频讲解、举一反三引导式教学引导式教学 支持

4、多轮交互、苏格拉底式教学K12K12全支持全支持 全学段、全学科讲解QAnything演化史从小P老师到QAnythingQAnythingQAnything：https:/qanything.ai从从FAISSFAISS到到MilvusMilvus到到zillizzilliz：用户管理+知识库管理 上传文件以及检索性能从在线服务到本地离线部署：从在线服务到本地离线部署：本地LLM（vllm）本地Embedding+Rerank+解析 完全断网安装使用的QAnythingQAnything系统架构02QAnything架构解析BCEmbedding模型Rerank的必要性QAnything系统

5、QAnything架构解析QAnything系统QAnything架构解析QAnything系统QAnything架构解析LlamaindexLlamaindex 评测集：评测集：bce-embedding优于其他开源、闭源embedding模型 rerank模型可以显著提升检索效果 bce-embedding和bce-reranker的组合可以实现最好的效果。QAnything系统Bcembedding模型LlamaIndexLlamaIndex博客评测复刻博客评测复刻多领域、多语种和跨语种评测：多领域、多语种和跨语种评测：竖排对比：bce-embedding表现最好。openai-embe

6、d-3和bge-m3表现出顽强的泛化性。Cohere和e5的多语种embedding模型同样表现出不错的效果。而其他单语种embedding模型表现却不尽如人意（JinaAI-v2-Base-zh和bge-large-zh-v1.5稍好一些）。横排对比：reranker模块可以显著改善检索效果。其中CohereRerank和bge-reranker-large效果相当，bce-reranker-base_v1具备比前二者更好的精排能力。整体：bce-embedding-base_v1和bce-reranker-base_v1的组合可以实现最好的检索效果（93.46/77.02），比其他开源闭源