面向大规模向量数据的云原生存储解决方案 Milvus 向量数据库的经验.pdf

1、DataFunCon#2024向规模向量数据的云原存储解决案徐冬-Zilliz个介绍 Zilliz 席程师 数据系统程师，Apache Hive Hadoop 贡献者 前阿级专家关于 Zilliz 全球第款向量数据库 性能和吞吐 线性扩展 模型编排 模型缓存 向量数据库云服务 超性能 全托管 度可定制Contents录向量数据库存储解决案典型例向量数据库为 AI 打造的结构化数据解决案嵌 数据的向量表达 监督特征抽取 语义相似性度量ANN Search向量存储向量存储是AI系统的核组件为什么不使向量索引库？向量索引库没有完备的数据库功能 数据更新 条件查询和分组查询 数据类型持和函数持 向量索

2、引库使槛 部署 管理：监控、备份 向量索引库法多机扩展为什么不使传统数据库？向量索引能 复杂向量操作 多向量查询 混合查询 结构化存储挑战向量数据库的关键指标 查询性能-延迟、吞吐和召回率 成本-存储密度、压缩编码 功能-混合查询、分组、多模态 扩展性-存储计算分离的弹性伸缩 稳定性Zilliz 向量数据库产品典型例Code assist-Vanna AI问答系统-OSSChat存储解决案Milvus 如何持百亿数据规模性能存取向量存储的挑战 索引 为规模数据构建 成本 索引更新能 向量和标量数据的异构特性 压缩率和编码效率 存储空间差异 访问模式 标量过滤 向量搜索读写分离的设计 平衡连续索引的时效和成本 区分计算密集型和IO密集型作业 灵活扩缩容数据分 Shard：并发操作单元 Segment：索引单元 File：对象存储的并发读写单元分层存储件格式 列式存储 vs 式存储 向量的编码和数据类型 压缩效率总结 专的向量数据库在索引性能和查询功能上有决定性优势，是 AI-Infra 的必备组件 Milvus 是开源的向量数据库，为云原、分布式和性能设计 Milvus 向云原的存储的关键技术包括读写分离、数据分、分层存储和件格式优化谢谢milvusiolinktr.ee/Milvusiomilvus-ioZilliz