刘力-向量数据库大模型时代的基础设施构建.pdf

1、向量数据库：大模型时代的基础设施构建刘力 Zilliz演讲嘉宾刘力Zilliz 首席工程师Zilliz 首席工程师，拥有多年的数据库，大数据等方向的开发经验，目前在Zilliz负责查询索引相关的研发工作。曾于Meta就任高级工程师，负责广告流式数据框架的设计和开发工作。刘力拥有卡内基梅隆大学信息技术硕士学位。目 录CONTENTS1.什么是向量数据库2.从向量检索到Milvus3.不仅仅是ANN搜索4.Zilliz Cloud 及更多什么是向量数据库PART 01什么是向量数据库过去人们通过关系型存储检索数据，这种方式无法模糊匹配，无法跨模态检索，缺少对上下文的理解随着大模型的泛化能力变强，通

2、过预训练学习数据的基本特征，利用深度学习模型提取 Embedding 用于数据检索的范式越来越常见什么是向量数据库向量检索利用向量在高维空间的距离来表征非结构化数据的相似度向量数据库是一种专为存储和查询高维度向量数据而优化的数据库系统。向量数据库的场景Retrieval Augmented Generation(RAG)通过语义检索提高生成式模型的可用性提高准确性和相关性提供私有/特定领域的知识提升知识的实时性消除幻觉Milvus:全球第一款向量数据库docker pull从向量检索到MilvusPART 02向量数据库的基石：向量索引IVF,SCANN,基于桶的ANN算法基于图的ANN算法H

3、NSW，DiskANN,利用预先插入的数据获取数据分布利用Graph，聚类，Hash等方式快速筛选并接近目标位置利用SQ,PQ量化和SIMD降低单次距离的成本ANNS：Approximate Nearest Neighbor Search 为什么需要向量数据库功能上：增删改查复杂查询：多向量、标向量混合等查询一致性多租户监控RBAC可用性上：规模、性能的可扩展性故障恢复能力数据的备份，迁移与导入微服务环境下的快速部署Milvus的目的：更多，更快更多：分布式架构支持百亿数据设计理念：存算分离提供更好的可扩展性，资源管理能力和隔离性微服务化+K8s自动化部署，扩展消息队列作为数据骨架：日志即数据

4、解耦不同组件，并且提供简单快捷的故障恢复机制更多：分布式架构支持百亿数据存算分离：可扩展性：储存和计算节点可以按需独立扩展资源利用：根据不同类型节点定制化的资源让系统能力更强隔离性：某个组件的升级、故障或者热点任务不会影响其他组件池化：IndexNode、和DataNode可以池化以提高资源利用率更多：分布式架构支持百亿数据流批一体：批量导入：数据跳过复杂的流式系统，直接插入到对象储存向量ETL：数据可以在Spark中进行预处理（数据清洗、向量提取等）再批量导入到Milvus全局优化：数据可以从Milvus全量导出到Spark进行基于全局数据分布的优化再导回Milvus提供更高效的服务更快：多

5、种索引算法助推性能起飞可插拔向量索引引擎，集成多种业界常用索引，支持不同的场景。支持x86、ARM各种架构，并针对新老机型进行了SIMD调优。和英伟达合作，支持使用GPU获得超高性能对复杂搜索场景进行算法调优，比如过滤搜索更快：GPU支持获得性能巅峰Batch Size=1Batch Size=10Batch Size=100CPU:m6id.2xlargeT4:g4dn.2xlargeA10G:g5.2xlarge Top 100 Recall:98%Dataset:https:/ 边做向量检索边过滤适合大部分场景Post-Filtering 昨晚向量检索再过滤只适合过滤量非常小的场景Val

6、idation评估方式BitsetOverhead较大，适合过滤量较大的场景Expr单次执行较慢，适合过滤量较小的场景更快：过滤下的高效搜索如何在图上处理过滤掉的点Without candidates(绕过去)容易产生孤岛问题With candidates(走过去)：孤岛问题缓解，性能问题凸显更快：过滤下的高效搜索对于离散数据对不同标签及标签组合，通过分析数据分布构造小图提升连通性对于连续数据，除小图外，还需要冗余层增加不同小图之间的连通性还有多列标签的And，Or结合的优化等等，性能提升2-10 x更快：实时性和性能都想要实时性和性能不可兼得大部分向量数据库选择直接使用HNSW，通过牺牲实时