kubernetes 1.13版本之后，提供静态加密方式，其主要是通过kube-apiserver来控制Secrets的加解密，而在Etcd中存储的是加密后的信息，所以攻击者拿下了etcd，也无法轻易的拿到Secrets保存的敏感数据。

    当前集群是使用kubeadm安装，版本1.18.9

    （1）创建加密配置文件，保存到master节点/etc/kubernetes/pki/static-secret-encryption.yaml中

    1. apiVersion: apiserver.config.k8s.io/v1
    2. kind: EncryptionConfiguration
    3. resources:
    4.   - resources:
    5.     - secrets
    6.     providers:
    7.     - aescbc:
    8.         keys:
    9.         - name: mysecret
    10.           secret: DJqYaMMpY2DNlHz+HYrFYOUSh5SXKWiVOwLf6nQX9ss=
    11.     - identity: {}

    其中secret是加密密钥，使用如下命令生成：

    $ head -c 32 /dev/urandom | base64

    （2）修改kube-apiserver启动参数，位置/etc/kubernetes/manifests/kube-apiserver.yaml

    ......
spec:
  containers:
  - command:
    - kube-apiserver
    - --encryption-provider-config=/etc/kubernetes/pki/static-secret-encryption.yaml
......

    注意：kube-apiserver的加密参数，在1.14之后是—encryption-provider-config

    （3）重启kube-apiserver
    （4）验证加密
    首先创建一个secret资源，如下：

    $ kubectl create secret generic secret1 -n default --from-literal=mykey=mydata

    然后查看etcd中的数据

    $ ETCDCTL_API=3 etcdctl --endpoints=https://[127.0.0.1]:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt --key=/etc/kubernetes/pki/etcd/healthcheck-client.key get /registry/secrets/default/secret1  | hexdump -C
00000000  2f 72 65 67 69 73 74 72  79 2f 73 65 63 72 65 74  |/registry/secret|
00000010  73 2f 64 65 66 61 75 6c  74 2f 73 65 63 72 65 74  |s/default/secret|
00000020  31 0a 6b 38 73 3a 65 6e  63 3a 61 65 73 63 62 63  |1.k8s:enc:aescbc|
00000030  3a 76 31 3a 6d 79 73 65  63 72 65 74 3a b6 90 7d  |:v1:mysecret:..}|
00000040  b3 40 9b 4d 63 eb 71 cf  ca 16 52 a0 91 82 c3 69  |.@.Mc.q...R....i|
00000050  2b 6f e5 1c ae 88 58 0d  4f 08 c9 29 57 69 f5 e6  |+o....X.O..)Wi..|
00000060  e2 7c 42 79 bb 84 22 3a  90 54 5e d4 ac f6 a6 a6  |.|By..":.T^.....|
00000070  47 e2 b2 67 29 d8 c4 c6  61 9e 84 62 9d 3c 7c b0  |G..g)...a..b.<|.|
00000080  6c 5f 5e f3 da 08 34 17  ef a3 a7 9c 76 31 02 98  |l_^...4.....v1..|
00000090  54 5c 21 05 af 8d a8 dc  39 04 4d 84 bf a8 d1 f6  |T\!.....9.M.....|
000000a0  58 f4 90 30 22 46 14 a5  e6 19 3a 51 48 86 99 a7  |X..0"F....:QH...|
000000b0  ed f1 5f 8e 4a 1c 30 cb  5f ec ba 3d e2 0a 1d 93  |.._.J.0._..=....|
000000c0  7c 57 68 6b d2 01 51 49  fd 81 56 72 6d ca 98 e6  ||Whk..QI..Vrm...|
000000d0  99 59 84 15 bc 5d 7d f7  95 75 b2 cb 4f ff 8d d1  |.Y...]}..u..O...|
000000e0  ae 29 0d 27 df fa 59 b4  e2 37 2c 33 83 9e e4 73  |.).'..Y..7,3...s|
000000f0  55 ce 89 cc c0 5f 3d e4  df 90 8d 70 91 f9 81 b1  |U...._=....p....|
00000100  e7 0c ee 71 cf 81 22 6f  6c 45 74 51 0c f7 5f 4d  |...q.."olEtQ.._M|
00000110  1f 9a be 51 05 cd fd b2  74 0b 29 30 e2 24 ea 57  |...Q....t.)0.$.W|
00000120  0e 8a cb 1f 55 7a 2e 4c  0e 1a 4e 09 c6 0a        |....Uz.L..N...|
0000012e

    注意在数据头部出现k8s:enc:aescbc:v1:,说明数据已经被正确加密，使用的是aescbc算法，使用的密钥为mysecret。

    接下来查看读取的时候能否正常被解密，如下：

    $ kubectl get secrets secret1 -o yaml
apiVersion: v1
data:
  mykey: bXlkYXRh
kind: Secret
metadata:
  creationTimestamp: "2021-01-22T02:27:48Z"
  managedFields:
  - apiVersion: v1
    fieldsType: FieldsV1
    fieldsV1:
      f:data:
        .: {}
        f:mykey: {}
      f:type: {}
    manager: kubectl
    operation: Update
    time: "2021-01-22T02:27:48Z"
  name: secret1
  namespace: default
  resourceVersion: "26907503"
  selfLink: /api/v1/namespaces/default/secrets/secret1
  uid: 9020c914-3785-404f-a7b2-0743ff49c19d
type: Opaque

$ echo "bXlkYXRh" | base64 -d
mydata

    可以发现能否正常解密。

    不知道你有没有发现，只有存在etcd里的数据被加密了，我们在集群使用kubectl get secrets secret1 -o yaml获取到的仍然只是简单的进行了base64转码，所以一旦我们的节点被攻破，secrets也就暴露在外面了。