概念

PersistentVolume（PV）

是由管理员设置的存储，它是群集的一部分。就像节点是集群中的资源一样，PV 也是集群中的资源。 PV 是
Volume 之类的卷插件，但具有独立于使用 PV 的 Pod 的生命周期。此 API 对象包含存储实现的细节，即 NFS、
iSCSI 或特定于云供应商的存储系统

PersistentVolumeClaim（PVC）

是用户存储的请求。它与 Pod 相似。Pod 消耗节点资源，PVC 消耗 PV 资源。Pod 可以请求特定级别的资源
（CPU 和内存）。声明可以请求特定的大小和访问模式（例如，可以以读/写一次或 只读多次模式挂载）

静态 pv

集群管理员创建一些 PV。它们带有可供群集用户使用的实际存储的细节。它们存在于 Kubernetes API 中，可用
于消费

动态

当管理员创建的静态 PV 都不匹配用户的 PersistentVolumeClaim 时，集群可能会尝试动态地为 PVC 创建卷。此
配置基于 StorageClasses ：PVC 必须请求 [存储类] ，并且管理员必须创建并配置该类才能进行动态创建。声明该类为 “” 可以有效地禁用其动态配置

要启用基于存储级别的动态存储配置，集群管理员需要启用 API server 上的 DefaultStorageClass [准入控制器]
。例如，通过确保 DefaultStorageClass 位于 API server 组件的 —admission-control 标志，使用逗号分隔的
有序值列表中，可以完成此操作

绑定

master 中的控制环路监视新的 PVC，寻找匹配的 PV （如果可能），并将它们绑定在一起。如果为新的 PVC 动态
调配 PV ，则该环路将始终将该 PV 绑定到 PVC。否则，用户总会得到他们所请求的存储，但是容量可能超出要求
的数量。一旦 PV 和 PVC 绑定后， PersistentVolumeClaim 绑定是排他性的，不管它们是如何绑定的。 PVC 跟
PV 绑定是一对一的映射

持久化卷声明的保护

PVC 保护的目的是确保由 pod 正在使用的 PVC 不会从系统中移除，因为如果被移除的话可能会导致数据丢失当启用PVC 保护 alpha 功能时，如果用户删除了一个 pod 正在使用的 PVC，则该 PVC 不会被立即删除。PVC 的删除将被推迟，直到 PVC 不再被任何 pod 使用

持久化卷类型

PersistentVolume 类型以插件形式实现。 Kubernetes 目前支持以下插件类型：

  • GCEPersistentDisk AWSElasticBlockStore AzureFile AzureDisk FC (Fibre Channel)
  • FlexVolume Flocker NFS iSCSI RBD (Ceph Block Device) CephFS
  • Cinder (OpenStack block storage) Glusterfs VsphereVolume Quobyte Volumes
  • HostPath VMware Photon Portworx Volumes ScaleIO Volumes StorageOS 
  1. apiVersion: v1
  2. kind: PersistentVolume
  3. metadata:
  4.   name: pv0003
  5. spec:
  6.   capacity:
  7.     storage: 5Gi
  8.   volumeMode: Filesystem
  9.   accessModes:
  10.     - ReadWriteOnce
  11.   persistentVolumeReclaimPolicy: Recycle
  12.   storageClassName: slow
  13.   mountOptions:
  14.     - hard
  15.     - nfsvers=4.1
  16.   nfs:
  17.     path: /tmp
  18.     server: 172.17.0.2

PV 访问模式

PersistentVolume 可以以资源提供者支持的任何方式挂载到主机上。如下表所示，供应商具有不同的功能，每个
PV 的访问模式都将被设置为该卷支持的特定模式。例如，NFS 可以支持多个读/写客户端，但特定的 NFS PV 可能
以只读方式导出到服务器上。每个 PV 都有一套自己的用来描述特定功能的访问模式

  • ReadWriteOnce——该卷可以被单个节点以读/写模式挂载
  • ReadOnlyMany——该卷可以被多个节点以只读模式挂载

  • ReadWriteMany——该卷可以被多个节点以读/写模式挂载


    在命令行中，访问模式缩写为：

  • RWO - ReadWriteOnce

  • ROX - ReadOnlyMany
  • RWX - ReadWriteMany
Volume插件 ReadWriteOnce ReadOnlyMany ReadWriteMany
AWSElasticBlockStoreAWSElasticBlockStore ✓ - -
AzureFile ✓ ✓ ✓
AzureDisk ✓ - -
CephFS ✓ ✓ ✓
Cinder ✓ - -
FC ✓ ✓ -
FlexVolume ✓ ✓ -
Flocker ✓ - -
GCEPersistentDisk ✓ ✓ -
Glusterfs ✓ ✓ ✓
HostPath ✓ - -
iSCSI ✓ ✓ -
PhotonPersistentDisk ✓ - -
Quobyte ✓ ✓ ✓
NFS ✓ ✓ ✓
RBD ✓ ✓ -
VsphereVolume ✓ - -(当pod并列有效)
PortworxVolume ✓ - ✓
ScaleIO ✓ ✓ -
StorageOS ✓ - -

回收策略

  • Retain（保留）——手动回收
  • Recycle（回收）——基本擦除（ rm -rf /thevolume/* ）
  • Delete（删除）——关联的存储资产（例如 AWS EBS、GCE PD、Azure Disk 和 OpenStack Cinder 卷）将被删除

当前，只有 NFS 和 HostPath 支持回收策略。AWS EBS、GCE PD、Azure Disk 和 Cinder 卷支持删除策略

状态

卷可以处于以下的某种状态：

  • Available（可用）—— 一块空闲资源还没有被任何声明绑定
  • Bound（已绑定）—— 卷已经被声明绑定
  • Released（已释放）—— 声明被删除，但是资源还未被集群重新声明
  • Failed（失败）—— 该卷的自动回收失败

命令行会显示绑定到 PV 的 PVC 的名称

持久化演示说明 - NFS


Ⅰ、安装 NFS 服务器

  1. [root@hub ~]
  2. $ yum install -y nfs-common nfs-utils rpcbind
  3. $ mkdir /nfsdata
  4. $ chmod 777 /nfsdata
  5. $ chown nfsnobody /nfsdata
  7. $ cat <<EOF >>/etc/exports
  8. /nfsdata *(rw,no_root_squash,no_all_squash,sync)
  9. EOF
  11. $ systemctl start rpcbind
  12. $ systemctl start nfs
  1. [root@k8s-master01 ~]
  2. $ showmount -e 192.168.5.89
  3. Export list for 192.168.5.89:
  4. /nfsdata *
  6. $ mkdir /test-nfs/
  8. # # 挂载测试
  9. $ mount -t nfs 192.168.5.89:/nfsdata /test-nfs/
  11. $ date > /test-nfs/index.html
  13. $ umount /test-nfs/
  15. $ rm -rf /test-nfs/

测试（2）
**

  1. [root@hub ~]
  2. $ mkdir /nfsdata{1..3}
  3. $ chmod 777 /nfsdata1/ /nfsdata2/ /nfsdata3/
  4. $ chown nfsnobody /nfsdata1/ /nfsdata2/ /nfsdata3/
  6. $ echo "nfsdata" > /nfsdata/index.html
  7. $ echo "nfsdata1" > /nfsdata1/index.html
  8. $ echo "nfsdata2" > /nfsdata2/index.html
  9. $ echo "nfsdata3" > /nfsdata3/index.html
  11. $ cat <<EOF >>/etc/exports
  12. /nfsdata1 *(rw,no_root_squash,no_all_squash,sync)
  13. /nfsdata2 *(rw,no_root_squash,no_all_squash,sync)
  14. /nfsdata3 *(rw,no_root_squash,no_all_squash,sync)
  15. EOF
  17. $ systemctl restart rpcbind
  18. $ systemctl restart nfs

Ⅱ、部署 PV

  1. cat <<EOF >./pv.yaml
  2. apiVersion: v1
  3. kind: PersistentVolume
  4. metadata:
  5.   name: nfspv1
  6. spec:
  7.   capacity:
  8.     storage: 10Gi
  9.   accessModes:
  10.     - ReadWriteOnce
  11.   persistentVolumeReclaimPolicy: Retain
  12.   storageClassName: nfs
  13.   nfs:
  14.     path: /nfsdata
  15.     server: 192.168.5.89
  16. EOF
  1. $ kubectl apply -f pv.yaml
  2. persistentvolume/nfspv1 created
  4. $ kubectl get pv
  5. NAME     CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
  6. nfspv1   10Gi       RWO            Retain           Available           nfs                     52s

测试（2）
**

  1. cat <<EOF >./pv2.yaml
  2. apiVersion: v1
  3. kind: PersistentVolume
  4. metadata:
  5.   name: nfspv2
  6. spec:
  7.   capacity:
  8.     storage: 5Gi
  9.   accessModes:
  10.     - ReadOnlyMany
  11.   persistentVolumeReclaimPolicy: Retain
  12.   storageClassName: nfs
  13.   nfs:
  14.     path: /nfsdata1
  15.     server: 192.168.5.89
  16. ---
  17. apiVersion: v1
  18. kind: PersistentVolume
  19. metadata:
  20.   name: nfspv3
  21. spec:
  22.   capacity:
  23.     storage: 5Gi
  24.   accessModes:
  25.     - ReadWriteOnce
  26.   persistentVolumeReclaimPolicy: Retain
  27.   storageClassName: nfs
  28.   nfs:
  29.     path: /nfsdata2
  30.     server: 192.168.5.89
  31. ---
  32. apiVersion: v1
  33. kind: PersistentVolume
  34. metadata:
  35.   name: nfspv4
  36. spec:
  37.   capacity:
  38.     storage: 1Gi
  39.   accessModes:
  40.     - ReadWriteOnce
  41.   persistentVolumeReclaimPolicy: Retain
  42.   storageClassName: nfs
  43.   nfs:
  44.     path: /nfsdata3
  45.     server: 192.168.5.89
  46. EOF
  1. $ kubectl apply -f pv2.yaml 
  2. persistentvolume/nfspv2 created
  3. persistentvolume/nfspv3 created
  4. persistentvolume/nfspv4 created

Ⅲ、创建服务并使用 PVC

  1. cat <<EOF >./pvc.yaml
  2. apiVersion: v1
  3. kind: Service
  4. metadata:
  5.   name: nginx
  6.   labels:
  7.     app: nginx
  8. spec:
  9.   ports:
  10.   - port: 80
  11.     name: web
  12.   clusterIP: None
  13.   selector:
  14.     app: nginx
  15. ---
  16. apiVersion: apps/v1
  17. kind: StatefulSet
  18. metadata:
  19.   name: web
  20. spec:
  21.   selector:
  22.     matchLabels:
  23.       app: nginx
  24.   serviceName: "nginx"
  25.   replicas: 3
  26.   template:
  27.     metadata:
  28.       labels:
  29.         app: nginx
  30.     spec:
  31.       containers:
  32.       - name: nginx
  33.         image: hub.yangguoxiang.com/library/myapp:v2.0
  34.         ports:
  35.         - containerPort: 80
  36.           name: web
  37.         volumeMounts:
  38.         - name: www
  39.           mountPath: /usr/share/nginx/html
  40.   volumeClaimTemplates:
  41.   - metadata:
  42.       name: www
  43.     spec:
  44.       accessModes: [ "ReadWriteOnce" ]
  45.       storageClassName: "nfs"
  46.       resources:
  47.         requests:
  48.           storage: 1Gi
  49. EOF
  1. $ kubectl apply -f pvc.yaml 
  2. service/nginx created
  3. statefulset.apps/web created

测试（2）

  1. $ kubectl get pv
  2. NAME     CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM               STORAGECLASS   REASON   AGE
  3. nfspv1   10Gi       RWO            Retain           Bound       default/www-web-0   nfs                     3h24m
  4. nfspv2   5Gi        ROX            Retain           Available                       nfs                     23m
  5. nfspv3   5Gi        RWO            Retain           Bound       default/www-web-2   nfs                     23m
  6. nfspv4   1Gi        RWO            Retain           Bound       default/www-web-1   nfs                     23m
  8. $ kubectl get pod -o wide
  9. NAME    READY   STATUS    RESTARTS   AGE   IP             NODE         NOMINATED NODE   READINESS GATES
  10. web-0   1/1     Running   0          46m   10.244.1.102   k8s-node01   <none>           <none>
  11. web-1   1/1     Running   0          46m   10.244.2.90    k8s-node02   <none>           <none>
  12. web-2   1/1     Running   0          23m   10.244.2.91    k8s-node02   <none>           <none>
  14. $ curl 10.244.2.90
  15. nfsdata3
  16. $ curl 10.244.2.91
  17. nfsdata2
  18. $ curl 10.244.1.102
  19. nfsdata

结论：pod 存储被持久化

  1. $ kubectl delete pod web-0
  2. $ kubectl get pod -o wide
  3. NAME    READY   STATUS    RESTARTS   AGE   IP             NODE         NOMINATED NODE   READINESS GATES
  4. web-0   1/1     Running   0          8s    10.244.1.103   k8s-node01   <none>           <none>
  5. web-1   1/1     Running   0          55m   10.244.2.90    k8s-node02   <none>           <none>
  6. web-2   1/1     Running   0          32m   10.244.2.91    k8s-node02   <none>           <none>
  7. $ curl 10.244.1.103
  8. nfsdata
  10. $ kubectl exec centos-base-pod -it -- /bin/bash
  11. $ ping web-0.nginx
  12. $ ping web-1.nginx
  13. $ ping web-2.nginx

结论：pod 被删除，通过 (podname).(headless servername) 可以继续访问

  1. $ kubectl get svc
  2. NAME         TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
  3. nginx        ClusterIP   None         <none>        80/TCP    131m
  5. $ kubectl get pod -o wide -n kube-system
  6. NAME                                   READY   STATUS    RESTARTS   AGE   IP             NODE           NOMINATED NODE   READINESS GATES
  7. coredns-5c98db65d4-8csxj               1/1     Running   13         13d   10.244.0.26    k8s-master01   <none>           <none>
  8. coredns-5c98db65d4-lnddr               1/1     Running   14         13d   10.244.0.27    k8s-master01   <none>           <none>
  10. $ dig -t A nginx.default.svc.cluster.local. @10.244.0.26
  11. ;; ANSWER SECTION:
  12. nginx.default.svc.cluster.local. 30 IN    A    10.244.2.90
  13. nginx.default.svc.cluster.local. 30 IN    A    10.244.2.91
  14. nginx.default.svc.cluster.local. 30 IN    A    10.244.1.103

Ⅳ、删除

回收 PV 前提是将引用的资源都清空，依次删除：pod、svc、pvc

  1. $ kubectl get pv
  2. NAME     CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM               STORAGECLASS   REASON   AGE
  3. nfspv1   10Gi       RWO            Retain           Bound       default/www-web-0   nfs                     5h8m
  5. $ kubectl delete pv nfspv1
  6. persistentvolume "nfspv1" deleted
  9. $ kubectl delete svc nginx
  10. service "nginx" deleted
  12. $ kubectl delete pod web-0 web-1 web-2
  13. pod "web-0" deleted
  14. pod "web-1" deleted
  15. pod "web-2" deleted
  17. $ kubectl delete pvc --all
  18. persistentvolumeclaim "www-web-0" deleted
  19. persistentvolumeclaim "www-web-1" deleted
  20. persistentvolumeclaim "www-web-2" deleted
  22. $ kubectl get pv
  23. NAME     CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM               STORAGECLASS   REASON   AGE
  24. nfspv1   10Gi       RWO            Retain           Released    default/www-web-0   nfs                     176m
  25. nfspv2   5Gi        ROX            Retain           Available                       nfs                     176m
  26. nfspv3   5Gi        RWO            Retain           Released    default/www-web-2   nfs                     176m
  27. nfspv4   1Gi        RWO            Retain           Released    default/www-web-1   nfs                     176m
  29. # # 手动回收空间，修改nfs，状态从：Released 已释放 -> Available 可用
  30. $ kubectl edit pv nfspv3

删除以下内容：

  1.   claimRef:
  2.     apiVersion: v1
  3.     kind: PersistentVolumeClaim
  4.     name: www-web-2
  5.     namespace: default
  6.     resourceVersion: "450428"
  7.     uid: a85baeb5-5870-4565-8d53-4f57734185ca
  1. $ kubectl get pv
  2. NAME     CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM               STORAGECLASS   REASON   AGE
  3. nfspv3   5Gi        RWO            Retain           Available                       nfs                     3h1m

关于 StatefulSet

  • 匹配 Pod name ( 网络标识 ) 的模式为：$(statefulset名称)-$(序号)，比如上面的示例：web-0，web-1，web-2
  • StatefulSet 为每个 Pod 副本创建了一个 DNS 域名，这个域名的格式为： $(podname).(headless servername)，也就意味着服务间是通过Pod域名来通信而非 Pod IP ，因为当Pod所在Node发生故障时， Pod 会被飘移到其它 Node 上，Pod IP 会发生变化，但是 Pod 域名不会有变化
  • StatefulSet 使用 Headless 服务来控制 Pod 的域名，这个域名的 FQDN 为：$(servicename).$(namespace).svc.cluster.local ，其中，“cluster.local” 指的是集群的域名
  • 根据 volumeClaimTemplates ，为每个 Pod 创建一个 pvc ，pvc 的命名规则匹配模式：(volumeClaimTemplates.name)-(pod_name) ，比如上面的 volumeMounts.name=www， Pod name=web-[0-2]，因此创建出来的 PVC 是 www-web-0、www-web-1、www-web-2
  • 删除 Pod 不会删除其 pvc ，手动删除 pvc 将自动释放 pv

Statefulset的启停顺序：

  • 有序部署：部署StatefulSet时，如果有多个Pod副本，它们会被顺序地创建（从0到N-1）并且，在下一个
  • Pod运行之前所有之前的Pod必须都是Running和Ready状态。
  • 有序删除：当Pod被删除时，它们被终止的顺序是从N-1到0。
  • 有序扩展：当对Pod执行扩展操作时，与部署一样，它前面的Pod必须都处于Running和Ready状态。

StatefulSet使用场景：

  • 稳定的持久化存储，即Pod重新调度后还是能访问到相同的持久化数据，基于 PVC 来实现。
  • 稳定的网络标识符，即 Pod 重新调度后其 PodName 和 HostName 不变。
  • 有序部署，有序扩展，基于 init containers 来实现。
  • 有序收缩。