概念：

概念：分布式存储软件，提供文件、对象、块存储服务，提供SCSI、ISCSI块存储接口；提供NFS、CIFS、FTP等文件存储接口
块存储服务网结构：
管理界面：FSM-FSA
存储平面：MDC、VBS、OSD之间通讯网络
业务平面：应用访问VBS使用的网络平面

组成：

FSM(FusionStorage Manage)：管理模块，虚拟机主备部署，提供告警、监控、日志、配置等操作系统维护功能。
FSA（FusionStorage Agent）：代理进程：在个节点部署实现各节点间FSM互通，包含MDC、VBS、OSD，三种进程
MDC（MetaData Controller）：元数据控制

  • 部署在3.5.7节点上的ZK盘，形成控制集群。ZK（zookeeper）：集群管理软件，奇数部署，投票选主，主ZK写，同步到FEI主、非只读ZK。ZK做MDC底层，管理主备MDC，MDC数据同步。
  • MDC总数最多96个，每创建一个存储池自动部署一个归属MDC，每个MDC可管理2个存储池。
  • MDC实现对分布式集群的状态控制，以及控制数据分布式规则，数据重建规则

VBS（Virtual Block System）：虚拟快存储管理组件

  • 负责卷元数据管理，提供分布式集群接入服务，使计算资源能够通过VBS访问分布式存储资源
  • 部署在使用存储资源的服务器上
  • VBS提供块存储服务类型:
  1. SCSI：直接在HOST OS部署VBS，IO通过SCSI总线到达VBS。KVM/XEN、Linux。
  2. ISCSI：通过IP网络去访问VBS。IO通过封装在IP网络传输，到达VBS后解封装。适用于大多数场景，性能次于SCSI

OSD（Object Storage Device）：对象存储设备

  • 执行具体的IO

  • 一般一个硬盘部署一个OSD，SSD卡可对应多个OSD

    DHT（Distributed Hash Table）：分布式Hash环：

  • 数据路由算法

  • Hash环：0—2^32-1环形存储空间约（4G）
  • partition：Hash环平均分成3600份，每份一个partition，每个partition对应一个OSD，partition中存储KEY。
  • key：LUN ID + LAB ID/1M 取证 余数=offset
  • LAB ID：数据块在LUN中的偏移量
  • offset：数据在Value块内的偏移量
  • LUN空间切割成为1M的块，硬盘的Value区也切割成1M的块，形成映射关系，每个1M的空间对应一个KEY

  • KEY-Value：每个KEY对应硬盘中一块区域（1M空间）

    读写数据：

    写数据：

  • VBS收到写IO，将数据转为Key-Value

  • 将KEY存放到partition
  • 通过IO View（partiton ID以及OSD主）找到主OSD，将数据写入主OSD
  • 主OSD通过partition View（Partition ID，OSD主、OSD备）找到备OSD，将数据同步到备OSD

读数据：

  • VBS收到读IO，算出KEY，offset、Len（长度）
  • 根据KEY找到对用的partition，根据partitonID 通过IO View找到主OSD
  • 从主OSD对应的硬盘中找到Key对应的value块，根据offset定位数据的起始位置，根据Len算出文件的结尾

存储池内数据同步，重构由主OSD完成，当主OSD故障，由MDC指定新主

Cache：缓存机制

  • 主机为机械硬盘，必须配缓存
  • 统一资源池中的存储节点上，缓存的类型、数量必须一致
  • 读Cache：内存—-读Cache—-写Cache——HDD
  • 写Cache：内存——写Cache——HDD（落盘）

落盘：周期型写，水位值写，大块直通（默认256KB，可修改）

组件交互：

MDC：系统启动时，MDC与ZK互动决定主MDC，主MDC和其它MDC相互监控心跳，主MDC指定备MDC，当主MDC故障去升备MDC
OSD：OSD启动时向MDC查询归属MDC，向归属MDC报告状态，归属MDC把状态变化发送给VBS，当归属MDC故障时，主MDC指定一个MDC接管，最多两个池归属一个MDC。
VBS：VBS启动时查询主MDC，向主MDC注册，并确认自己是否为Leader，VBS从主MDC获取IO View，主VBS向OSD获取元数据，其它VBS向主VBS获取元数据

传统存储与FS的区别：

个人总结：
1、机头：传统存储一般2-16控，FS可线性扩展
2、传统存储有元数据瓶颈；FS分布式结构
3、传统存储有IO瓶颈（控制器）
4、Cache瓶颈，传统存储为控制器内存。FS分布式Cache
5、数据重建，FS采用分布式结构，重建速度快
6、FS适用大规模场景，小规模场景适用传统存储
7、FS至少3节点部署，二副本，三副本。
PPT：
1、高扩展性：
传统存储设备：扩展存储需要增加控制器个数或更换设备
FusionStorage：容量与线性增加，性能超越中高端存储
2、高性价比
传统存储设备：成本随性能提升大幅增加，存储更新换代速度快
FusionStorage：支持融合部署，通用服务器堆叠扩展节约成本；扁平化，扩展简单，已有设备利旧，保护投资
3、高可靠性：
传统存储设备：硬盘故障需立即更换，实时手动恢复
FusionStorage：提高机柜间、服务期间、可靠性、故障业务无影响；硬盘故障无需手动管理，自动数据重建恢复
4、并行快速数据重建
传统存储设备：数据重建慢（IT数据需要12小时）
FusionStorage：分布在全资源池内跨机柜、跨服务器重建数据（重建1T数据小于10分钟）

部署方式：

分离部署；OSD与VBS不同节点
融合部署：OSD与VBS同节点

单存储池服务器数：

2副本：3-16台服务器 12-94块硬盘
3副本：4-255台服务器 12-2048块硬盘
机柜级至少需要12台服务器，超64台服务器必须选择机柜级
服务器之间硬盘数相差不能超过两块且容量不能超20%
SCSI：主机和存储之间的通讯协议，直通，
ISCSI：在IP网络中承载SCSI协议。