火山引擎云搜索服务大规模技术应用实践.pdf

1、火山引擎云搜索服务大规模技术应用实践桂峰火山引擎云搜索资深架构师自 主 创 新 引 领大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会云搜索服务向量搜索引擎高可用架构混合搜索0 01 10 02 20 03 30 04 4目 录Contents大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委

2、员会大数据技术标准推进委员会云搜索服务Chapter 01大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会云搜索服务全托管一站式分布式搜索服务，完全兼容搜索引擎 OpenSearch、ElasticSearch。全文检索结构化搜索其他Geo向量检索火山引擎云搜索服务多年来持续为包括头条、抖音、飞书、懂车帝等字节跳动内部核心业务提供搜索服务支持。历经多年业务发展，云搜索服务累积丰富的业务实践并提供给内外部客户。大数据技术标准推进委

3、员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会高可用架构Chapter 02大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会高可用架构-AZ容灾数据节点多 AZ 部署：每个AZ一组 k8s StatefulSet，存储使用同AZ的EBS云盘结合 ES Allocation Awar

4、eness，保证同一 Shard 的主、副分片分配到不同AZ支持 EBS 云盘容灾，单 EBS 集群故障时集群可正常工作支持 AZ 容灾，单 AZ 故障时集群可正常工作AZ 容灾方案容灾能力 大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会高可用架构-多活方案双向同步需求业务单写场景常见多活方案局限性：无法满足单向同步双向同步业务改造系统复杂性数据一致性MQ 多写中高弱业务多写难高弱CCR 同步-低高大数据技术标准推进委员会大数

5、据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会高可用架构-多活方案Ebus组件:订阅消费集群的Translog防回环：针对业务写入数据打Tag&消费侧过滤实时增量数据一致性检验Ebus 多活双向同步方案大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会向量搜索引擎Chapter 03大数据技

6、术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会向量搜索引擎向量搜索引擎：大模型时代重要的存储大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会大数据技术标准推进委员会向量搜索引擎-常用 ANN 算法基于空间划分向量压缩方法基于图常见有 Kd-tree、K-Means 等算法；高维场景下，搜索效率