专场6.3-京东云海统一存储平台架构与业务实践-郑静.pdf

1、云海统一存储平台架构与实践京东科技 京东云事业群存储架构师 郑静|云海统一存储平台架构介绍云海架构与实践存算分离实践云海统一存储平台是什么京东全自研分布式存储系统，高性能，高可靠，低成本，深度软硬件一体加速，协议互通阿里云盘古分布式存储云海统一存储平台云海统一存储平台架构鲲鹏Arm 信创服务器云海存储一体机云海分布式存储引擎飞腾Arm 信创服务器HDDSSDTAPEHDDSSDTAPEHDDSSDTAPEHDDSSDTAPE块存储服务文件存储服务对象存储服务大数据存储服务NFS|SMB私有云平台PaaS存算分离PaaS存算分离AI 训练数据归档视频监控离线计算数据报表数据分析标准 X86 服务

2、器图片存储第三方生态存储第三方定制需求超算（HPC）海光 信创服务器HDDSSDTAPECBD|iSCSIPOSIXS3HDFS云海统一元数据管理云海SDK云海统一存储平台云海管理控制台全场景更敏捷更高效云海统一存储平台 领先性低冗余支持从1.5-1.14 副本的存储方式对QLC-SSD 友好的架构设计，使QLC-SSD能大规模应用于高性能场景的生产环境；官方认证为国内最大规模使用QLC的云厂商基于京东10+年在存储产品上的积累，针对新硬件的不断发展和传统存储架构不足，全新自研新一代存储引擎，充分满足存算分离、AI训练等新兴场景趋势的需求基于全自研架构及京刚芯片加速，云海在公有云生产环境上做到

3、单IO延迟100s；云硬盘单实例百万IOPS纯写场景下延迟 200s；性能接近本地NVMe磁盘全自研存储引擎高性能低成本强稳定京东在经典的RS算法的基础上，推出RSDP数据修复模型，可以将修复网络开销降到最低，低冗余存储条件下的故障数据修复速度提升510倍多机房高可用/精细化流精细化流控控/副本故障下高可用性副本故障下高可用性安全（国密加密）数据强一致多机房高可用支持全信创硬件操作日志审计多地数据灾备国产化替代安全可靠的存储云海统一存储平台 高性能自研RDMA RDMA 网络栈只用verbs接口自流控大小包拆分读写分离全链路异步模型多流异步同时服务全程无锁IO路径不跨CPU，支持Polling

4、无LeaderLeader一致性协议日志结构文件系统日志减少写放大，增加预读，减少延迟性云海存储，带负载压力实测结果，三节点单实例云硬盘纯4K4K写 IOPSIOPS 达到100100万时，平均延迟仍在200200s s内软硬件一体技术Data-Monitor云海统一存储平台 高性能 存储网络栈链路聚合四栈合一（用户态TCP/TCP/内核态TCP/RDMA/IBTCP/RDMA/IB）组件基于名字空间寻址网络层实现FailoverFailover支持IO fenceIO fenceIOIO全路径支持RDMARDMA，零拷贝ClientClientIO serverIO-MonitorIO se

5、rverIO serverRDMARDMA获取客户端新版本，重新登录关闭旧链接TCPClient故障，支持FailOver存储层服务层客户端Data ServerData ServerData Server新版本login 关闭旧链接获取客户端新版本，重新登录关闭旧链接云海统一存储平台 高性能 软硬件一体技术VM VM 侧硬件化vrtiovrtio存储网络硬件卸载RDMARDMA虚拟网络全卸载使用京刚产品，存储全链路延迟低于100us100us数据路径全程零拷贝云海统一存储平台 高性能 异步模型高速低速事件隔离无锁队列交互IOIO不跨核全无锁实现全异步编程全内存池全用户态高速数据入口高速数据出

6、口管理事件WorkerWorkerWorkerWorkerWorkerWorker低速事件TailHeadHeadHeadHeadHeadHeadHeadHeadTailTailTailTailTailTailTail高速数据入口高速数据入口高速数据出口高速数据出口云海统一存储平台 分布式一致性协议RaftRaft选举期间无法提供服务RaftRaft串行同步journaljournal性能受限RaftRaft In In-PlacePlace UpdateUpdate架构，故障容忍度低FollowerLeaderF