阿里云搜索Serverless产品架构设计和应用实践-邢少敏.pdf

《阿里云搜索Serverless产品架构设计和应用实践-邢少敏.pdf》由会员分享，可在线阅读，更多相关《阿里云搜索Serverless产品架构设计和应用实践-邢少敏.pdf（36页珍藏版）》请在三个皮匠报告上搜索。

1、阿里云搜索Serverless产品架构设计和应用实践OpenSearch研发负责人/邢少敏目录阿里云搜索技术介绍阿里云搜索技术介绍阿里云搜索 Serverless 技术架构阿里云搜索 Serverless 应用实践阿里云搜索 Serverless 总结展望阿里云搜索技术发展历程20200808支撑淘宝、B2B起航YST,Vespa,Lucene起源1999199920112011极致性能优化Isearch4.5-HA2-HA3HA320201818搜索、推理、图为核心AI在线工程体系(AI Online Serving)“AIOS”发布20232023Havenask正式版20201717与E

2、lastic战略合作商业版100%兼容开源阿里云Elasticsearch20201313平台化、产品化HA3-OpenSearch统一20202222AIOS开源序幕HA3开源Havenask预览版突发读写流量，集群又被打挂了，业务宕机了赶紧扩容！大促不断、游戏发版、蜂拥请求总有无法预估的突发流量，集群遇到资源瓶颈，在短时间内扩容困难太贵了，今年的集群成本又超预算了，能不能有个降本方案？服务器资源成本高、研发、测试、生产预算hold不住，又要稳定又要降本增效，还有什么解决方案集群负载并不高，为什么要用这么大规格？业务低峰期看起来的大量资源冗余，是因为总有某个时刻流量突增，让你不得不按高峰流量

3、做容量规划既要业务需求快速迭代，又要承接高强度运维工作，做研发的门槛也太高了项目团队没有专属的运维支持，集群稳定性运维难、需要随着业务发展持续优化，开发也要有运维经验搜索面临的业务挑战UMP优惠券平台阿里云搜索业务需求业务特点规模：客户数万，支持成本高接入：快速交付，低运维成本增长：平滑扩容，业务不感知成本：节省成本，资源不浪费解决方案云上云下以Serverless方式提供统一的标准搜索云产品，规模化支持业务多租户服务资源共享共享物理资源，最大化资源利用率数据隔离租户数据隔离，互相不可见业务隔离合理分配流量，防止单租户流量过大影响其他租户业务快速交付开箱即用小时级接入使用，无需定制易用产品简单

4、易用，学习成本低免运维日常免运维，大促低成本运维弹性资源弹性资源固定资源按需付费业务存在高峰和低谷，消耗资源成本不同，客户付出的成本要和资源消耗成本比例业务存在高峰和低谷，消耗资源成本不同，客户付出的成本要和资源消耗成本比例目录阿里云搜索技术介绍阿里云搜索阿里云搜索 Serverless Serverless 技术架构技术架构阿里云搜索 Serverless 应用实践阿里云搜索 Serverless 总结展望多租户索引管理多租户流量控制多租户资源分配资源分配策略资源分配策略公平策略公平策略资源分配策略资源分配策略弹性策略弹性策略多目标弹性降级、限流多目标弹性降级、限流自动热点均衡High CP

5、U NodeHigh Shard num NodeLow CPU NodeLow Shard num NoderelocatingrelocatingMaster20%CPUShard RebalanceShard Rebalance读写分离读写统一读写分离 vs.读写统一（Havenask）GitHub地址：https:/ 0Processor 0Processor nBuilder mAPI实时数据HDFS全量数据OSS全量数据ProcessorMaxCompute全量数据BuilderMerger 0Merger mMergerTable 0Table nZK消息中间件分布式文件系统（H

6、DFS）调度系统监控系统BS Admin多租户索引构建(Build Service)写入优化，Indexing Service服务通过索引物理复制、计算存储分离、faster-bulk等阿里云自研特性将单位资源写入性能提升了150%跨集群实时物理复制，通过segment级别的实时物理复制，User集群相对于Indexing Service集群的平均数据延迟达到百毫秒级 异地容灾，Indexing Service做了异地多集群备份，当某一个集群出现异常，可切换User集群的索引托管至备份集群多租户索引构建(Indexing Service)多租户大模型服务多租户大模型服务专属模型单卡LoRA：单