分布式 Data Warebase——探索数据系统物理极限-蒋晓伟.pdf

1、分布式 Data Warebase探索数据系统物理极限蒋晓伟目录01/当前数据系统的弊端02/业务的核心需求和典型场景03/探索满足业务需求的极限架构04/分布式 Data Warebase民宿应用的民宿应用的数据架构数据架构向量数据库语义搜索语义搜索简单查询简单查询简单查询简单查询应用应用应用服务应用服务增量同步CDCCDC关键词搜索关键词搜索对象存储快照快照全量同步全量同步分析分析BI工具全量同步增量同步关键词搜索关键词搜索语义搜索语义搜索汇总汇总分析分析简单查询简单查询增量同步结构化数据结构化数据半结构化数据半结构化数据非结构化数据非结构化数据简单查询简单查询关键词搜索关键词搜索语义搜索

2、语义搜索汇总分析汇总分析 民宿应用的数据和场景上述上述数据架构的弊端数据架构的弊端 数据不一致数据不一致开发效率低开发效率低成本不可控成本不可控运维复杂运维复杂 系统稳定性差系统稳定性差 数据延迟数据延迟 开发门槛高开发门槛高开发视角开发视角运维视角运维视角业务视角业务视角回归业务核心需求性性 能能正正 确确实实 时时关系型数据库水平扩展的挑战性能性能正确正确实时实时实现分布式事务在技术上充满挑战NoSQL 应运而生性能性能正确正确实时实时分布式事务是个绕不过的坎 NoSQL和关系型数据库的融合引入引入JsonJson类型类型实现分布式事务实现分布式事务结构化结构化数据数据半结构化数据半结构化

3、数据非结构化数据非结构化数据简单查询简单查询+性能性能正确正确实时实时以关系型数据库为基础是个更好的选择关键词搜索-实时性数据库管控台应用 未搜到自家民宿1 1某民宿管理员3 3信息更新后马上再次搜索3 3数据同步4 4同步延迟搜索引擎1 1搜索：无烟 停车位2 2通过管控台向数据库发出修改数据请求性能性能正确正确实时实时搜索引擎不能满足极致的正确性和实时性实时关键词搜索倒排索引倒排索引关键词关键词搜搜索索+性能性能正确正确实时实时再次以关系型数据库为基础检索增强生成-RAG3 3搜索4 4相关文档知识库5 5提示+上下文LLMLLM2 27 76 6召回系统生成答案1 1问题觅舍月上西湖云蔓

4、流年似水查询：靠近西湖的简约风民宿语义搜索-向量搜索.0.23,1.58,.,8.45.4.56,0.71,.,5.36开窗就能看见雷峰塔！布局好，很有空间感向量嵌入向量嵌入向量搜索向量搜索性能性能正确正确实时实时语义搜索语义搜索+我们并不需要一个专门的向量数据库汇总分析准实时准实时 实时实时最终一致最终一致 一致一致性能性能正确正确实时实时消息流分区批写入性能性能实时实时正确正确分片 1分片 2仅读到点击消息写入点击消息写入曝光消息未读到曝光消息定位性能问题定位性能问题场景场景实时分析系统向量向量化化执行执行列式存储列式存储物化视图物化视图算子Time 原始数据 聚合数据汇总分析汇总分析+性

5、能性能正确正确实时实时博采众长高斯定律高斯磁定律法拉第电磁感应定律安培环路定律麦克斯韦方程组麦克斯韦方程组位移电流位移电流关键词关键词搜搜索索语义搜索语义搜索汇总分析汇总分析简单查询简单查询结构化结构化数据数据半结构化数据半结构化数据非结构化数据非结构化数据+性能性能正确正确实时实时统一的统一的APIAPI自适应自适应隔离隔离极简体验兼容已有生态兼容已有生态统一的数据存储统一的数据存储一类新数据产品的涌现一类新数据产品的涌现分布式分布式Data Data WarebaseWarebase所有数据所有数据结构化数据半结构化数据非结构化数据所有场景所有场景关键词搜索语义搜索汇总分析简单查询极简体验

6、极简体验统一的数据存储兼容已有生态隔离统一的API自适应挑战挑战极限极限性能正确实时不是发明不是发明 而是发现而是发现Data Warebase Data Warehouse+Database分析分析增量同步BIBI工具工具语义搜索语义搜索CDC简单查询简单查询简单查询简单查询应用应用CDCCDC快照快照全量同步对象存储关键词搜索关键词搜索应用服务应用服务应用应用应用服务应用服务简单查询简单查询关键字关键字搜索搜索语义语义搜索搜索分析分析BIBI工具工具向量数据库数据开发的新