Proxmox VE统一了您的计算和存储系统,也就是说,您可以在一个集群中使用相同的物理节点进行计算(处理虚拟机和容器)和复制存储。计算和存储资源的传统筒仓可以打包成一个单一的超融合设备。独立存储网络(san)和通过网络连接存储(NAS)的连接消失了。通过集成开源软件定义的存储平台Ceph, Proxmox VE能够在hypervisor节点上直接运行和管理Ceph存储。
Ceph是一个分布式对象存储和文件系统,旨在提供卓越的性能、可靠性和可伸缩性。
CEPH在PROXMOX VE上的一些优点是:
简单的设置和管理与CLI和GUI支持
自动精简配置
支持快照
自我疗愈
可扩展到eb级别
设置池具有不同的性能和冗余特性
数据复制,容错
在经济的商品硬件上运行
不需要硬件RAID控制器
开放源码
对于中小型部署,可以直接在您的Proxmox VE集群节点上安装用于RADOS块设备(RBD)的Ceph服务器,参见Ceph RADOS块设备(RBD) 7.15节。最新的硬件有足够的CPU能力和RAM,因此可以在同一个节点上运行存储服务和虚拟机。
为了简化管理,我们提供了pveceph -一个在Proxmox VE节点上安装和管理Ceph服务的工具。
CEPH由两个守护进程组成,用于RBD存储:
Ceph监测(Ceph -mon)
Ceph经理(Ceph -mgr)
Ceph OSD (Ceph - OSD;对象存储守护进程)
提示
我们强烈建议您熟悉Ceph ,它的架构和词汇。
1、Ceph intro https://docs.ceph.com/en/nautilus/start/intro/
2、Ceph architecture https://docs.ceph.com/en/nautilus/architecture/
3、Ceph glossary https://docs.ceph.com/en/nautilus/glossary
_8.1、先决条件
要构建超融合的Proxmox + Ceph集群,应该至少有3台(最好是)相同的服务器。
也可以查看Ceph网站上的推荐。
CPU
**
较高的CPU核心频率可以减少延迟,应该是首选。作为一个简单的经验法则,您应该为每个Ceph服务分配一个CPU内核(或线程),以便为稳定和持久的Ceph性能提供足够的资源。
内存
**
特别是在超融合设置中,需要仔细监视内存消耗。除了来自虚拟机和容器的预期工作负载之外,Ceph还需要足够的可用内存来提供优秀和稳定的性能。
根据经验,对于大约1 TiB的数据,一个OSD将使用1 GiB的内存。特别是在恢复、再平衡或回填期间。
守护进程本身将使用额外的内存。守护进程的Bluestore后端默认需要3-5 GiB内存(可调)。相比之下,遗留的Filestore后端使用OS页面缓存,内存消耗通常与OSD守护进程的PGs相关。
网络
**
我们建议网络带宽至少为10gbe或更多,这是Ceph专用的。如果没有可用的10gbe交换机,网状网络设置也是一个选项。
通信量(特别是在恢复期间)将干扰同一网络上的其他服务,甚至可能破坏Proxmox VE集群堆栈。
进一步,估计您的带宽需求。虽然一个硬盘可能不会使1gb的链路饱和,但每个节点的多个硬盘osd可以,而现代NVMe ssd甚至会很快使10gbps的带宽饱和。部署一个带宽更高的网络将确保它不会成为你的瓶颈,也不会很快成为瓶颈,25gbps、40gbps甚至100gbps都是可能的。
磁盘
在规划Ceph集群的大小时,考虑恢复时间是很重要的。特别是小型集群,复苏可能需要很长时间。建议在小型设置中使用ssd而不是hdd,以减少恢复时间,最大限度地减少恢复期间发生后续故障事件的可能性。
一般来说,ssd会比旋转磁盘提供更多的IOPs。这一事实和较高的成本可能使基于类的第8.9节池的分离具有吸引力。加速OSDs的另一种可能性是使用更快的磁盘作为日志或DB/ write - advance - log设备,请参见创建Ceph OSDs第8.7节。如果有多个OSD使用较快的磁盘,需要在OSD和WAL / DB(或journal)磁盘之间选择合适的平衡点,否则较快的磁盘将成为所有链接OSD的瓶颈。
除了磁盘类型,Ceph在每个节点的磁盘大小和分布数量都是均匀的情况下性能最好。例如,每个节点都有4×500gb磁盘,这比混合设置单个1tb和3个250gb磁盘要好。
还需要平衡OSD数量和单个OSD容量。更大的容量允许增加存储密度,但这也意味着单个OSD故障会迫使ceph一次恢复更多数据。
1、Full Mesh Network for Ceph https://pve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server
避免RAID
由于Ceph自己处理数据对象冗余和多个磁盘并行写(osd),使用RAID控制器通常不会提高性能或可用性。相反,Ceph被设计成单独处理整个磁盘,中间没有任何抽象。RAID控制器不是为Ceph设计的,可能会使事情变得复杂,有时甚至会降低性能,因为它们的写和缓存算法可能会干扰来自Ceph的算法。
警告
避免使用RAID控制器,使用HBA (host bus adapter)代替。
Note
以上建议可以作为选择硬件的粗略指南。因此,仍然有必要对其进行调整,以适应您的特定需求、测试您的设置并持续监视运行状况和性能。
8.2、初始化Ceph安装和配置
使用Proxmox VE,您将拥有一个易于使用的Ceph安装向导。单击一个集群节点并导航到菜单树中的Ceph部分。如果Ceph尚未安装,您将提供这样做,现在。
向导被分为不同的部分,每个部分都需要成功完成才能使用Ceph。启动安装后,向导将从Proxmox VE的ceph存储库下载并安装所有需要的包。
完成第一步后,您将需要创建一个配置。对于每个集群,这个步骤只需要执行一次,因为这个配置会通过Proxmox VE的集群配置文件系统(pmxcfs)第6章自动分发给所有剩余的集群成员。
配置步骤包括以下设置:
公共网络: 你应该为Ceph设置一个专用网络,这个设置是必需的。强烈建议分离Ceph流量,因为这可能会导致其他依赖延迟的服务出现问题,例如,如果不这样做,集群通信可能会降低Ceph的性能。
集群网络: 作为一个可选步骤,你可以进一步分离OSD节8.7复制和心跳流量。这将减轻公共网络的负担,并可能导致显著的性能改进,特别是在大型集群中。
您还有两个被认为是高级的选项,因此只有在您是专家的情况下才应该更改。
副本数:定义对象复制的频率
最小副本:定义标记为完整的I/O所需副本的最小数量。
另外,您需要选择第一个监控节点,这是必需的。
就是这样,您应该看到一个成功页面作为最后一步,并进一步说明如何继续。现在可以开始使用Ceph了,尽管您需要创建额外的监视器第8.5节,创建一些OSDs第8.7节和至少一个池第8.8节。
本章的其余部分将指导您如何充分利用基于Proxmox VE的Ceph设置,这将包括前面提到的,更像Ceph 8.11节,这是一个非常方便的添加到您的新Ceph集群。
8.3、Ceph包的安装
使用Proxmox VE Ceph安装向导(推荐)或在各节点上执行如下命令:
pveceph install
这会在/etc/apt/sources.list.d/ceph.list中建立一个apt包存储库。并安装所需的软件。
8.4、创建初始Ceph配置
在单个节点上使用Proxmox VE Ceph安装向导(推荐使用)或执行以下命令:
pveceph init --network 10.10.10.0/24
这将在/etc/pve/ceph.conf中创建一个初始配置,并为ceph创建一个专用网络。该文件通过使用pmxcfs第6章自动分发到所有Proxmox VE节点。该命令还从/etc/ceph/ceph.conf中创建指向该文件的符号链接。因此,您可以简单地运行Ceph命令,而不需要指定配置文件。
8.5、Ceph Monitor
Ceph Monitor (MON) 维护集群映射的主副本。对于高可用性,你需要至少3个显示器。如果使用安装向导,将已经安装一个监视器。只要您的集群是小型到中型的,您就不需要超过3个监视器,只有真正大的集群才需要更多。
1、Ceph Monitor https://docs.ceph.com/en/nautilus/start/intro/
8.5.1、创建 Monitors
在希望放置监视器的每个节点上(建议放置三个监视器),通过在GUI中使用Ceph→monitor选项卡或运行来创建它。
pveceph mon create
8.5.2、销毁 Monitors
要通过GUI删除Ceph监视器,首先在树视图中选择一个节点,然后转到Ceph→Monitor面板。选择MON并单击Destroy按钮。
要通过CLI删除Ceph监视器,首先连接到正在运行MON的节点。然后执行如下命令:
pveceph mon destroy
Note
法定人数至少需要三个监视器。
8.6、Ceph Manager
管理器守护进程与监视器一起运行。它提供了一个监视集群的接口。因为Ceph luminous release至少需要一个Ceph -mgr 守护进程。
Ceph Manager https://docs.ceph.com/en/nautilus/mgr/
8.6.1、创建 Manager
可以安装多个管理器,但任何时候只有一个管理器处于活动状态。
pveceph mgr create
Note
建议在监控节点上安装Ceph管理器。要获得高可用性,请安装多个管理器。
8.6.2、销毁 Manager
要通过GUI删除Ceph管理器,首先在树视图中选择一个节点,然后转到Ceph→Monitor面板。选择管理器并点击销毁按钮。
要通过CLI删除Ceph监视器,首先要连接到运行管理器的节点。然后执行如下命令:
pveceph mgr destroy
请注意
Ceph集群可以在没有管理器的情况下运行,但某些功能(如集群状态或使用情况)需要运行管理器。
8.7、Ceph OSDs
Ceph对象存储守护进程通过网络为Ceph存储对象。建议每个物理磁盘使用一个OSD。
请注意
缺省情况下,一个节点的大小是4M。
Ceph Bluestore https://ceph.com/community/new-luminous-bluestore/
8.7.1、创建 OSDs
通过GUI或CLI如下:
pveceph osd create /dev/sd[X]
提示
我们建议使用Ceph集群大小,从12个osd开始,平均分布在至少3个节点(每个节点上4个osd)中。
如果磁盘以前使用过(例如。ZFS/RAID/OSD),要删除分区表、引导扇区和所有剩余OSD,下面的命令应该足够了。
ceph-volume lvm zap /dev/sd[X] --destroy
警告
上面的命令将破坏磁盘上的数据!
Ceph Bluestore
从Ceph Kraken发布开始,引入了一种新的Ceph OSD存储类型,即所谓的Bluestore。这是自Ceph Luminous以来创建OSD时的默认存储类型。pveceph osd create /dev/sd[X]
Block.db and block.wal
如果您想为您的osd使用一个单独的DB/WAL设备,您可以通过-db_dev和-wal_dev选项指定它。如果没有单独指定,WAL将与DB一起放置。
pveceph osd create /dev/sd[X] -db_dev /dev/sd[Y] -wal_dev /dev/sd[Z]
您可以分别为使用-db_size和-wal_size参数的对象直接选择大小。如果没有给出它们,将使用以下值(按顺序):
bluestoreblock{db,wal}_size from ceph configuration…
…数据库,osd标签
…数据库,global标签
…文件,osd标签
…文件,global标签
OSD大小的10% (DB)/1% (WAL)
请注意
DB存储BlueStore的内部元数据,WAL是BlueStore的内部日志或预写日志。建议使用快速SSD或NVRAM,以获得更好的性能。
Ceph Filestore
**
在Ceph Luminous 之前,Filestore被用作Ceph OSDs的默认存储类型。从Ceph Nautilus开始,Proxmox VE不再支持使用pveceph创建这样的osd。如果您仍然希望创建文件存储OSDs,请直接使用ceph-volume。
ceph-volume lvm create --filestore --data /dev/sd[X] --journal /dev/sd[Y]
8.7.2、销毁 OSDs
通过图形界面删除OSD首先在树视图中选择一个Proxmox VE节点,进入Ceph→OSD面板。选择要销毁的OSD。下一步单击OUT按钮。当OSD的状态从“in”变为“out”时,点击停止按钮。当状态从up到down改变时,从更多下拉菜单中选择销毁。
通过CLI命令移除OSD。
ceph osd out <ID>
systemctl stop ceph-osd@<ID>.service
请注意
第一个命令指示Ceph不要在数据分布中包含OSD。第二条命令停止OSD服务。在此之前,没有数据丢失。
下面的命令破坏OSD。指定-cleanup选项来另外销毁分区表。
pveceph osd destroy <ID>
警告
上面的命令将破坏磁盘上的数据!
8.8、Ceph Pools
池是用于存储对象的逻辑组。它保存放置组(PG, pg_num),这是一个对象集合。
8.8.1、创建 Pools
当没有给出选项时,我们将默认值设置为128 PGs,大小为3个副本,最小大小为2个副本,为服务处于降级状态的对象。
请注意
PGs的默认数量适用于2-5块磁盘。如果你有太少或太多的pg在你的集群Ceph抛出一个HEALTH_WARNING。
警告
不要将min_size设置为1。当一个对象只有1个副本时,min_size为1的复制池允许对该对象进行I/O,这可能导致数据丢失、PGs不完整或找不到对象。
建议根据您的设置计算PG数,您可以在网上找到公式和PG计算器。从Ceph Nautilus开始,以后可以增加和减少PGs的数量。
1、PG calculator https://ceph.com/pgcalc/
2、Placement Groups https://docs.ceph.com/en/nautilus/rados/operations/placement-groups/
您可以通过命令行创建池,也可以在每个PVE主机的GUI上创建Ceph→池。
pveceph pool create <name>
如果您想自动获取池的存储定义,请在GUI中标记复选框“添加存储”,或者在池创建时使用命令行选项——add_storage。
关于Ceph池处理的更多信息可以在Ceph池操作手册中找到。
8.8.2、销毁 Pools
要通过GUI销毁池,在树视图中选择一个节点,然后转到Ceph→Pools面板。选择要销毁的池,单击“销毁”按钮。为了确认销毁池,需要输入池名称。
运行命令销毁存储池。使用实例指定- remove_stores也删除关联的存储。
pveceph pool destroy <name>
请注意
删除数据池属于后台任务,可能会花费一定的时间。您将注意到集群中的数据使用量正在减少。
8.9、Ceph CRUSH & device classes
Ceph的基础是它的算法,可扩展哈希下的控制复制(CRUSH)。
CRUSH计算在哪里存储和检索数据,这有一个优点,不需要中心索引服务。CRUSH为池提供OSDs、桶(设备位置)和规则集(数据复制)的地图。
请注意
进一步的信息可以在Ceph文档中找到,在 CRUSH map部分。
CRUSH map https://docs.ceph.com/en/nautilus/rados/operations/crush-map/
_
可以修改此映射,以反映不同的复制层次结构。对象副本可以被分离(例如。故障域),同时维护所需的分布。
一个常见的用例是为不同的Ceph池使用不同类型的磁盘。出于这个原因,Ceph引入了带有luminous的设备类,以适应容易生成规则集的需要。
设备类可以在ceph osd树的输出中看到。这些类代表它们自己的根桶,可以通过下面的命令看到。
Ceph pool operation https://docs.ceph.com/en/nautilus/rados/operations/pools/
CRUSH https://ceph.com/wp-content/uploads/2016/08/weil-crush-sc06.pdf
ceph osd crush tree --show-shadow
上述命令的输出示例:
IDCLASS WEIGHTTYPE NAME
-16nvme 2.18307 root default~nvme
-13nvme 0.72769host sumi1~nvme
12nvme 0.72769osd.12
-14nvme 0.72769host sumi2~nvme
13nvme 0.72769osd.13
-15nvme 0.72769host sumi3~nvme
14nvme 0.72769osd.14
-17.70544 root default
-32.56848host sumi1
12nvme 0.72769osd.12
-52.56848host sumi2
13nvme 0.72769osd.13
-72.56848host sumi3
14nvme 0.72769osd.14
为了让池只在特定的设备类上分发它的对象,您需要首先用特定的类创建一个规则集。
ceph osd crush rule create-replicated <rule-name> <root> <failure-domain> <class>
<failure-domain 对象应该分布在故障域(通常是宿主)
一旦规则在CRUSH映射中,您可以告诉一个池使用规则集。
ceph osd pool set <pool-name> crush_rule <rule-name>
提示
如果池中已经包含了对象,则必须相应地移动所有这些对象。根据您的设置,这可能会给您的集群带来很大的性能影响。另外,您可以创建一个新的池并单独移动磁盘。
8.10、Ceph 客户端
然后,您可以配置Proxmox VE来使用这样的池来存储VM或容器映像。简单地使用GUI也添加了一个新的RBD存储(参见Ceph RADOS块设备(RBD) 7.15节)。
您还需要将密匙环复制到外部Ceph集群的预定义位置。如果Ceph安装在Proxmox节点本身,那么这将自动完成。
请注意
文件名需要为 <storage_id> + `.keyring - <storage_id>是rbd后面的表达式:在/etc/pve/storage.cfg中是my-ceph-storage示例如下:
mkdir /etc/pve/priv/ceph
cp /etc/ceph/ceph.client.admin.keyring /etc/pve/priv/ceph/my-ceph-storage.keyring
8.11、CephFS
与RADOS块设备一样,Ceph也提供了运行在相同对象存储之上的文件系统。元数据服务器(MDS)用于将RADOS支持的对象映射到文件和目录,从而允许提供符合posix的复制文件系统。如果已经使用了ceph,这允许以一种简单的方式拥有集群的高可用共享文件系统。它的元数据服务器保证文件在整个Ceph集群上得到平衡,这样即使是高负载也不会使单个主机过载,这对于传统的共享文件系统方法(例如NFS)可能是一个问题。
Proxmox VE支持这两种方法,使用现有的cepfs作为存储章节7.16保存备份、ISO文件或容器模板,并创建超融合的cepfs本身。
8.11.1、MDS (Metadata Server)
cepfs至少需要配置一个元数据服务器并运行,才能正常工作。您可以简单地通过Proxmox VE web GUI的节点-> CephFS面板或命令行创建一个:
pveceph mds create
一个集群中可以创建多个元数据服务器。但是使用默认设置,在任何时候只有一个可以激活。如果一个MDS或其节点变得无响应(或崩溃),另一个standby MDS将被提升为active。你可以通过在create上使用hotstandby参数选项来加快主备MDS之间的切换,或者如果你已经创建了它,你可以设置/添加:
mds standby replay = true
在cepa .conf相应的MDS部分。启用此功能后,这个特定的MDS将始终轮询活动的MDS,以便在它处于热状态时可以更快地接管。但是,活动轮询自然会对系统和主MDS造成一些额外的性能影响。
多个活动MDS
因为Luminous (12.2.x)也可以有多个活动元数据服务器运行,但这通常只对并行客户端的高计数有用,否则MDS很少成为瓶颈。如果你想设置这个,请参考ceph文档。
8.11.2、创建 CephFS
通过与Proxmox VE的cepfs集成,您可以轻松地通过Web GUI、CLI或外部API接口创建cepfs。这需要一些先决条件:
成功设置CEPHFS的先决条件:
安装Ceph包8.3节,如果这已经做了一段时间,你可能想要重新运行它一个最新的系统,以确保所有与cepfs相关的包都被安装。
安装监视器8.5节
安装您的OSDs Section 8.5
设置至少一个MDS 8.11.1节
在这一切都检查和完成后,你可以简单地通过Web GUI的节点-> CephFS面板或命令行工具pveceph创建一个CephFS,例如:
pveceph fs create --pg_num 128 --add-storage
这将创建一个名为“CephFS”的CephFS,使用一个为其数据命名为“cephfs_data”的池和一个为其元数据命名为“cephfs_metadata”的池,该池使用四分之一的数据池放置组(‘32’)。检查Proxmox VE管理的Ceph池chapter章节8.8或访问Ceph文档获取更多关于安装程序的拟合安置组编号(pg_num)的信息10。此外,“——add-storage”参数将在成功创建cepfs后将其添加到Proxmox VE存储配置中。
Configuring multiple active MDS daemons https://docs.ceph.com/en/nautilus/cephfs/multimds/
Ceph Placement Groups https://docs.ceph.com/en/nautilus/rados/operations/placement-groups/
8.11.3、销毁 CephFS
警告
销毁一个CephFS将导致它的所有数据无法使用,这是无法撤消的!
如果你真的想要销毁一个现有的cepfs,你首先需要停止或销毁所有元数据服务器(mds)。你可以通过Web GUI或命令行界面销毁它们,如下所示:
pveceph mds destroy NAME
在每个Proxmox VE节点上托管一个MDS守护进程。
然后,你可以通过执行以下命令来移除(销毁)cepfs:
ceph fs rm NAME --yes-i-really-mean-it
在托管Ceph的单个节点上。在此之后,你可能想要删除创建的数据和元数据池,这可以通过Web GUI或CLI来完成:
pveceph pool destroy NAME
8.12、Ceph 维护
8.12.1、更换OSDs
Ceph中常见的维护任务之一是更换OSD的磁盘。如果磁盘已经处于失败状态,那么您可以继续执行销毁OSDs第8.7.2节中的步骤。如果可能,Ceph将在剩余的osd上重新创建这些副本。一旦检测到某个OSD故障或某个OSD被主动停止,这个再平衡就会启动。
请注意
使用池的默认size/min_size(3/2),只有在“size + 1”节点可用时才开始恢复。原因是Ceph对象平衡器CRUSH章节8.9默认为一个完整的节点作为“故障域”。
要替换仍在运行的磁盘,在GUI上执行销毁OSDs第8.7.2节中的步骤。唯一增加的是等待集群显示HEALTH_OK,然后停止OSD并销毁它。
在命令行中使用以下命令。
ceph osd out osd.<id>
您可以使用下面的命令检查是否可以安全地删除OSD。
ceph osd safe-to-destroy osd.<id>
一旦上面的检查告诉你它被保存以删除OSD,你就可以继续下面的命令。
systemctl stop ceph-osd@<id>.service
pveceph osd destroy <id>
更换新硬盘的操作步骤请参见8.7.1创建OSDs。
8.12.2、除去/丢弃
定期在vm或容器上运行fstrim(丢弃)是一种很好的方法。这将释放文件系统不再使用的数据块。它减少了数据使用和资源负载。大多数现代操作系统都会定期向其磁盘发出这样的丢弃命令。您只需要确保虚拟机启用磁盘丢弃选项Section 10.2.4。
8.12.3、擦除&深层擦除
Ceph通过清除放置组来确保数据完整性。Ceph检查PG中的每个对象的生命值。有两种清洗形式,每日廉价的元数据检查和每周深入的数据检查。每周的深度擦洗读取对象并使用校验和来确保数据完整性。如果正在运行的擦除操作干扰了业务(性能)需求,您可以调整执行擦除操作的时间。
8.13、Ceph监控和故障排除
良好的开端是,从初始部署开始就持续监视ceph运行状况。可以通过ceph工具本身,也可以通过Proxmox VE API访问状态。
下面的ceph命令可以用来查看集群是否健康(HEALTH_OK)、是否有警告(HEALTH_WARN),甚至是否有错误(HEALTH_ERR)。如果集群处于不健康状态,下面的status命令还将向您概述当前事件和要采取的操作。
# single time output
pve# ceph -s
# continuously output status changes (press CTRL+C to stop)
pve# ceph -w
为了获得更详细的视图,每个ceph服务在/var/log/ceph/下都有一个日志文件,如果没有足够的详细信息,可以调整日志级别。
您可以在官方网站上找到更多关于Ceph集群故障诊断的信息。
Ceph scrubbing https://docs.ceph.com/en/nautilus/rados/configuration/osd-config-ref/#scrubbing
Ceph log and debugging https://docs.ceph.com/en/nautilus/rados/troubleshooting/log-and-debug/
Ceph troubleshooting https://docs.ceph.com/en/nautilus/rados/troubleshooting/
_