李希-如何构建易用的Lustre系统管理软件.pdf

1、李希如何构建易的Lustre系统管理软件如何让如何让Lustre变得易？变得易？当前Lustre的使难点l学习曲线陡峭、概念众多、功能庞杂lLustre件系统只提供数据存储能，不集成周边软件系统l周边软件庞杂、分散，难以有机组合户的期望l开箱即：不动安装配置堆软件l含义明确：不反复查阅Lustre户册l界友好：不直数个各类命令和参数l适于集群：不在众多的MDS/OSS上动管理数个MDT/OSTl技术持完善：不独摸索、试错Coral：易的集成化：易的集成化Lustre开源发版开源发版历经期的技术积累与演化（10年）lLustrePerfMon、Barreleye、Clownfish、Lime集成

2、Lustre件系统开源发版l免去户选取和编译Lustre的困扰l可进额外的测试和验证l可进额外的硬件适配和调优集成各类Lustre周边软件功能l可、系统管理、配置管理、状态监控、性能监控组件化设计与实现l现已集成部件coral-clownfish和coral-barreleyel部件之间有机结合，避免功能和代码重叠l各功能组件可独安装部署，也可组合使l软件系统结构可扩展，不断拓展增加新组件Barreleye:性能监控Clownfish:基础管理Coral:集成化的Lustrer软件发版Coral基础软件栈的结构原理基础软件栈的结构原理MDT盘阵MDT盘阵OST盘阵OST盘阵性能监控服务器Con

3、sul服务端Clownfish代理MDS服务器Consul服务端Clownfish代理MDS服务器Consul客户端Clownfish代理OSS服务器Clownfish代理OSS服务器Consul服务端Collectd客户端Collectd客户端Collectd客户端Collectd客户端InfluxDBGrafana图形界定制性能图形界定制状态图形界可层件服务层监控层界层Consul界状态监控信息性能监控信息Prometheus开源Lustre件系统现有现有Lustre可机制实现式的不可机制实现式的不基于Corosync/Pacemaker的Lustre HA解决案l优点：技术成熟、使泛、适

4、合规模集群和简单系统l不：难以动化部署和配置，不适合状态复杂度的Lustre系统，可扩展性存在限制（集群节点的上限为16个）可软件引发众多问题lLustre件系统软件本的可靠性得到很提升（2.12+）l可软件问题：脑裂、失去同步、可节点对同时重启对l可软件触发和激化Lustre问题：Lustre尚未恢复就被可软件重启、数据损坏l可引起的存储系统问题在软件问题中占很（30%）Coral-Clownfish的可机制的原理的可机制的原理Consul服务端（Follower）Consul服务端（Leader）Consul服务端（Follower）选举选举副本副本Consul客户端Consul客户端RP

5、CRPCMDT0MDT1MDS服务MDS服务冗余链路活跃链路活跃链路Clownfish代理服务Clownfish代理服务上锁MDT1监控MDT0上锁MDT0监控MDT1OST0OST1OSS服务OSS服务冗余链路活跃链路活跃链路Clownfish代理服务Clownfish代理服务上锁OST1监控OST0上锁OST0监控OST1节点间监控节点间监控节点间监控Consul的原理的原理Consul的结构特点l分布式：适合持包含众多服务节点的Lustre集群l可：可撑Lustre可机制的各需求l可横向扩展：可撑Lustre添加服务节点和存储标的需求可供Coral/Lustre集群利的Consul特性l

6、服务发现：注册各类Coral服务，以供其他服务发现和利（暂未利）l健康检查：定义Lustre节点和服务的监控检查法，监视集群的健康状况（暂未利）lKey/Value存储：动态配置、功能标记、领袖选举（已利）l多数据中：将Coral的配置和监控数据同步到多个数据中（暂未利）Coral-Clownfish的实现特点的实现特点利Consul/ZooKeeper/etcd等新型可软件替换Corosync/Pacemaker利Consul的Key/Value存储，对Lustre存储系统进动态配置利Consul的图形界实现配置的图形化管理所有的软件包都包含在单ISO中，如coral-2.0.1.el7.x