FC存储虚拟化:
虚拟机磁盘在使用时,需要由磁盘驱动挂载给虚拟机,并通过QEMU管理起来,用户虚拟机的所有读写IO都会由前端驱动截获,转发给QEMU进程,并转换为用户态驱动的读写操作,最终写入磁盘文件中。
兼容的存储类型:SAN、NAS、FusionStorage Block存储池、主机本地硬盘
本地硬盘添加数据存储时可以选择虚拟化的使用方式;
SAN添加数据存储时可以选择虚拟化和裸设备映射的使用方式;
FusionStorage Block添加数据存储时默认非虚拟化的使用方式;
存储资源能力:精简制备磁盘、厚置备\延迟置零磁盘、增量快照、存储冷热迁移、虚拟磁盘扩容、磁盘快照管理
存储配置管理:存储资源发现与管理、数据存储创建与管理、存储资源裸设备映射
物理磁盘接口类型:
温彻斯特:最早的硬盘,容量为30MB。
IDE:针脚式,并行接口,80586出现IDE硬盘,早期硬盘。
ATA:并行接口,尾针比IDE硬盘接口多四根,缺点是会造成堵塞。
SATA:串行接口硬盘,SATA采用穿行连接方式,结构简单,支持热插拔,造价便宜目前最多的硬盘类型,读写性能差,短接口用于供电,长接口用于传输数据。
SCSI:通用小型计算机串行接口,用于服务器,主机和存储之间的内部通信协议,PCI-E,CPU和磁盘通信,实现数据通信,并行通信,传输距离短,传输速度慢,支持热插拔性能高,速度快,价格昂贵,不可靠,相当于直连硬盘。
ISCSI:使用TCP/IP协议传输,scsi内部总线,使用双绞线连接,无限制增长距离,形成了IP-SAN。主机和存储之间外部连接通信。
SAS:全双工通信,串行的SCSI,有SCSI演变而来,高速串行接口硬盘,触电多,供电和数据混到一起,可靠性高,读写性能好,造价昂贵。
NL-SAS:NL-SAS是采用了SAS的磁盘接口和SATA的盘体的综合体
硬盘的介质类型:
MHD:Mobile Hard Disk 移动硬盘
HDD:Hard Disk Driver 硬盘驱动器
SSD: Solid State Dive 固态硬盘
兼容存储类型:
块存储:写入单位以块为单位写入
SAN:ISCSI/SCSI协议,通用小型机接口协议,需要接口卡,25米内有效,大幅降低CPU利用率,光纤通道协议,FC包含ISCSI,价格昂贵,
NAS:提供的是共享文件夹,访问的文件夹内容,NFS/CIFS协议,都可以做NAS。
Fusionstorage Block:本地硬盘,存储池 提供Lun 块存储
本地硬盘:SATA半双工 SAS全双工
在数据存储上面有了文件系统就是虚拟化磁盘,没有文件系统的就是非虚拟化磁盘。
机械硬盘工作原理:
电机驱动主轴带动磁盘进行高速运转,磁头臂带头磁头悬浮于磁片两面,朝一个方向旋转,一般现在磁盘转速7200次/分钟,磁头臂摆动去扫描磁盘磁道里面数据,磁盘里面有磁粒子,根据磁头方向和变化,调整磁粒子顺序,以达到读写数据的目的。
数据存放在磁道中柱面上面,在磁道上面逻辑性分成一个个扇区,磁头在读写数据的时候,这个过程称之为寻道。
固态硬盘工作原理:
数据通过管理芯片记录到存储芯片中,管理芯片依靠数据库寻找数据资源。
优点:震,质量轻,能耗低,体积小
缺点:价格高 寿命低
SLC:单存储芯片,速度快,寿命长,价格贵,存储空间小
MLC:双存储芯片,速度一般,寿命一般,价格一般,存储空间一般
TLC: 多存储芯片,速度慢,寿命少,价格便宜,存储空间大。一般用在个人电脑里
Raid廉价冗余磁盘阵列:
提高性能 提供冗余 Raid本身属于存储虚拟化
Raid0(无冗余无校验的磁盘阵列):条带化磁盘阵列 >=2两块盘组成,磁盘协同工作,读写速度快,极大提升读写性能,磁盘利用率高,可靠性最差,风险最高,一块盘坏掉数据都坏掉,适用于做缓存服务器。
Raid1:镜像盘,两块盘,数据做了备份放在另一个盘中,安全可靠,但是浪费资源。主动删除不做备份,性能不会提升。
Raid3:带奇偶校验的条带化,>=三块盘,数据分为两半,第三块盘为校验盘,有独立校验盘的奇偶校验,异或运算,相同为假0,不同为真1,重构技术,提升性能,安全可靠。容量=盘数空间-1,只能坏一块盘。
Raid5:分布式奇偶校验条带化,三块盘,D代表数据,P代表校验码。每块盘都有校验位,只能坏一块盘,解决了raid3校验瓶颈问题。 容量=盘数空间-1
Raid5写惩罚:Raid5运用于存放连贯数据,视频,硬盘录像,监控信息的地方。当块的存储数据是64KB,那么信息会写入硬盘中,如果有一天修改了块的容量,比如改为80,之后存放数据时Raid5就会发现容量不一,会更新校验码,再以80KB的空间重新写入数据,对整体三快盘进行校验码重新计算数据,对于磁盘的伤害性比较大,可能硬盘会丢数据,占用空间比较大,这个时候读写性能就不好,造成读写数据丢失。惩罚:对于计算资源存在一定浪费。任意修改导致重新校验
Raid6:>=四块盘,两组校验码,无独立校验盘的校验磁盘阵列。容错性更高 利用率高 可用空间=sum-2 可以随机坏两块硬盘
Raid10:四块盘,先做镜像Raid1,再做条带Raid0,和Raid5配合使用。Sum-2 不可以随机坏两块硬盘,随机小IO场景使用。比如数据库
Raid50:>=6块盘 可用空间sum-2 对性能要求很高,同时可靠
集中式存储 :
SAN(Storage Area Network):网络共享存储/存储区域间网络,共享存储与主机之间的网络。
IP-SAN:基于以太网的共享存储网络,使用IPSAN共享存储网络的话使用的是ISCSI协议。(以太网存储共享协议)
FC-SAN:(基于光纤通道的共享存储网络)连接到共享存储时不使用ISCSI协议
LUN:逻辑单元号,提供出来的资源就是一块硬盘,使用共享存储分出来的空间,通过网络方式直接连接到主机。相当于硬盘分区,逻辑划分空间,逻辑隔离,使用的网络介质时双绞线或者时有一根专门的设备线。先做Raid,再做Lun。
1、 一台主机可以连接多台存储,并且可以有多个lUN。
2、 一个lun可以映射给多台主机(共享存储前提),在线迁移虚拟机.
3、 一个lun只能 映射给集群的多台主机,不要映射给非集群的多台主机,否则会导致脑裂,集群会控制数据的写入,集群级文件系统锁机制来控制的。
NAS:用户可以通过NAS去访问或者文件共享与自己操作系统不一样的系统,网络附加存储。
DAS:开放系统的直连式存储,
NFS:基于类UNIX系统的文件共享协议
CIFS:基于WINDOWS系统的文件共享协议
FC**存储虚拟化结构:
VIMS是一种高性能的集群文件系统,使虚拟化技术的应用超出了单个存储系统的限制,可让多个虚拟机共同访问一个整合的集群式存储池,从而显著提高了资源利用率。
1、作用:当多个CNA节点访问共享存储时(被共享的LUN),可以利用锁机制保证数据的一致性
2、分布式全对称锁机制(DLM):在VIMS中有多个资源管理者(master),每个master对应一个锁资源(被共享的LUN),不同的master不会集中到同一个CNA节点上。(同一台CNA主机上的VM访问被共享的LUN有虚拟化层隔离)
3、master选举:
(1)、先到先得,先访问的节点先成为master;
(2)、同时访问,VIMS节点号小的CNA节点成为master
4、网络要求:两种网络心跳
(1)、网络心跳:检测主机间的网络是否正常,如果是检测到master节点挂掉将重新选举master
(2)、磁盘心跳:检测主机是否能正常访问共享存储
VIMS(虚拟集群存储文件系统):
用在IP-SAN、FC-SAN上面,是一种高性能的集群文件系统,ext3或者ext4中可以同时访问文件,NTFS不可以,可让多个虚拟机共同访问一个整个的集群式存储池,从而显著提高了资源利用率。可以启用存储热迁移、DRS和高可用。
VIMS分布式锁:
为保证多节点读写同一文件的数据一致性,VIMS需要实现分布式文件锁,保证文件写入的唯一性。
VIMS心跳:
目的:保证资源一致性
磁盘心跳:检测主机是否可以正常读写共享存储 网络心跳:检测网络是否流畅,
电源仲裁,直接断电;网络仲裁,直接断网,仲裁是为了防止脑裂,若节点网络146秒都没有恢复,则启动仲裁 安装VRM时会有仲裁IP 主备VRMping网关测试 防止脑裂
脑裂:集群状态不一致所致
FusionCompute磁盘技术:
虚拟化存储以文件形式存放,非虚拟化存储以存储块存放
虚拟机磁盘存储类型:普通可以挂载给一台虚拟机使用,共享可以挂载给多个虚拟机使用,可以做文件共享,不支持高级特性,快照迁移克隆。
磁盘按照置备模式分为:
l 普通磁盘:IOPS(磁盘读写次数/秒)高性能、数据安全性高 缺点是创建时间长,占用空间大
l 普通延迟置零磁盘:写之前置零,创建时速度快,性能有所下降,发放速度快,对IOPS要求不高的场景
l 精简磁盘:写前空间分配,用多少分多少,创建时间短,边写边增加占用空间,性能有所下降,提高存储设备的利用率
l 差分磁盘:基于父磁盘,用于快照,如果父磁盘进行修改,不能使用,一般将父磁盘设置为只读
从磁盘模式又划分为:
l 从属用在系统盘上面
l 持久用在数据盘上面
l 持久化:可以永久保存,快照不包括磁盘
l 非持久化:不永久保存,处于保护磁盘数据的目的,重启后还原磁盘
从磁盘类型上分为:
l 普通:只给一台虚拟机
l 共享:多台虚拟机使用
磁盘总线类型:IDE、SCSI、Virtio
存储虚拟化功能原理:
快照:
目前有两种快照,
一种是COW写实复制,应用在块设备,裸设备,lun上
一种是ROW写时重定向,应用在文件系统,虚拟化中
创建快照会创建一个差分磁盘文件,该磁盘文件与源磁盘文件存放同一目录下。源磁盘文件会转为只读,新写入的数据存放在差分磁盘文件中,生成快照后生成差分盘。回滚快照后删除差分盘中的数据。FC支持普通快照、一致性快照以及内存快照。
删除快照:删除快照时,系统会整合原磁盘与差分磁盘文件里面的数据,形成新的磁盘文件。
场景:数据的备份,数据某个时间点的副本,进行高危操作以及不放心时执行快照。
缺点:不能保存当前状态,原磁盘损坏,非虚拟化存储不支持快照,磁盘类型为共享时不支持快照。
增量快照:原快照修改之后的快照,快中照
普通快照:快照会保存磁盘当前数据。
勾选内存快照:快照创建时会保存虚拟机当前内存中的数据。
勾选一致性快照:快照创建时会将虚拟机当前未保存的缓存数据先保存,再创建快照。
限制条件:非虚拟化存储不支持快照,磁盘类型为共享时不支持快照
链接克隆:
用来进行多个虚拟机的快速发放,每个虚拟机都会创建一个差分盘,原来的盘叫做母盘,母盘不可以跨存储。母盘下发差分盘成为链接克隆。对读写性能要求高,将母盘放在主机内存中,达到快速读取的目的。原卷最多128个差分卷,若多余再复制一份。
原理:虚拟机差分卷和原卷生成新卷。
场景:营业厅 银行柜台 行政单位
缺点:性能差 更新软件不方便
存储热迁移:
一、热迁移首先使用写时重定向,将虚拟机数据写入目的存储的一个差异磁盘,这样,原磁盘文件就变成只读的。
二、将源卷的所有的数据块依次读取出来并合并到目标端的差异磁盘中,等数据合并完成后,目的端的差分磁盘就拥有虚拟磁盘的所有最新数据。
三、**去除目的端快照对源卷的依赖,将差分磁盘修改为动态磁盘,这样,目的端磁盘文件可以独立运行。
场景:原存储空间不足、损坏、出现故障、降低性能
与虚拟机热迁移对比:
- 对象不一样,存储迁移的是数据,位置实在存储上面,虚拟机迁移的是计算资源
- 迁移流程,存储热迁移使用的是重定向,虚拟机热迁移使用的是内存迭代迁移
- 对业务影响,存储热迁移不需要中断业务,虚拟机热迁移需要短暂终端业务
- 应用场景,对数据需要改变,需要存储迁移,资源不足时需要虚拟机迁移
裸设备映射(RDM):
通过直通直接把LUN存储给虚拟机使用。为虚拟机直接访问物理存储子系统(仅限于FC或iSCSI)上的LUN,可以让虚拟机识别SCSI磁盘,不经过VMM,和物理设备性能一样,不支持高级特性。就是快,就是一块直接访问的硬盘。对读写性能要求高的场景,例如数据库。
技术特点:VM直接通过SCSI命令操作裸存储设备
兼容FC光纤存储和IPSAN存储
适用于高性能存储的应用,比如数据库Oracle
先测试存储网络保证连通性,存储上创建lun,然后测试存储lun,通过虚拟机下发连接指令进行挂载lun,从而直接使用存储上面的资源。
存储扩容:
FC支持在线或离线状态下对磁盘的容量扩充,实现虚拟资源的快速扩容,做扩容之前做快照,以免出问题。
- 虚拟卷:普通磁盘,会将数据区域进行扩充,并进行写零。
- 对于普通延时置零磁盘,会将数据区域进行扩容,并进行空间预占。
- 对于精简磁盘,仅对数据区域进行扩容。修改上限。
- 数据存储:修改lun增加扩大或者创建lun加入数据存储。
虚拟化和非虚拟化存储的区别:
虚拟化:块存储+文件系统 非虚拟化:块存储
存储相关知识:
SAN块存储,存储区域网络,NAS文件存储,网络附加存储,主机到存储之间的连接
FusionStorage有块存储的版本还有文件存储和对象存储,在一个存储设备上,同时实现三个存储的功能,典型的SDS(软件定义存储)
虚拟化磁盘格式:
Raw镜像格式是被kvm和xen原生支持的格式,缺点是空间占用大
QCOW2格式通常被KVM所用,支持快照,空间占用小,但是没有Raw性能效率高
Vmware的格式是vmdk 华为的是vhd virtual hard disk 微软的是vhd
各个厂商格式不兼容
后来出现OVF格式,为了统一各厂商格式,在linux中,使用qemu-img命令可以把vmdk格式转换为qcow2格式。
虚拟机模板有vmdk、ovf、ova