kubernetes之secret - 使用案例 - 《kubernetes集群》

案例：以环境变量的形式使用 Secret
案例：包含 SSH 密钥的 Pod
案例：包含生产/测试凭据的 Pod
案例：Secret 卷中以句点号开头的文件
案例：Secret 仅对 Pod 中的一个容器可见
最佳实践
- 客户端使用 Secret API
- 安全属性

案例：以环境变量的形式使用 Secret

创建一个 Secret 定义：

apiVersion: v1
kind: Secret
metadata:
  name: mysecret
type: Opaque
data:
  USER_NAME: YWRtaW4=
  PASSWORD: MWYyZDFlMmU2N2Rm
生成 Secret 对象：
kubectl apply -f mysecret.yaml

使用 envFrom 将 Secret 的所有数据定义为容器的环境变量。 Secret 中的键名称为 Pod 中的环境变量名称：

apiVersion: v1
kind: Pod
metadata:
  name: secret-test-pod
spec:
  containers:
    - name: test-container
      image: k8s.gcr.io/busybox
      command: [ "/bin/sh", "-c", "env" ]
      envFrom:
      - secretRef:
          name: mysecret
  restartPolicy: Never

案例：包含 SSH 密钥的 Pod

创建一个包含 SSH 密钥的 Secret：

kubectl create secret generic ssh-key-secret \
  --from-file=ssh-privatekey=/path/to/.ssh/id_rsa \
  --from-file=ssh-publickey=/path/to/.ssh/id_rsa.pub
输出类似于：

secret "ssh-key-secret" created

你也可以创建一个带有包含 SSH 密钥的 secretGenerator 字段的 kustomization.yaml 文件。

注意：发送自己的 SSH 密钥之前要仔细思考：集群的其他用户可能有权访问该密钥。你可以使用一个服务帐户，分享给 Kubernetes 集群中合适的用户，这些用户是你要分享的。如果服务账号遭到侵犯，可以将其收回。
现在我们可以创建一个 Pod，令其引用包含 SSH 密钥的 Secret，并通过存储卷来使用它：

apiVersion: v1
kind: Pod
metadata:
  name: secret-test-pod
  labels:
    name: secret-test
spec:
  volumes:
  - name: secret-volume
    secret:
      secretName: ssh-key-secret
  containers:
  - name: ssh-test-container
    image: mySshImage
    volumeMounts:
    - name: secret-volume
      readOnly: true
      mountPath: "/etc/secret-volume"

容器中的命令运行时，密钥的片段可以在以下目录找到：

/etc/secret-volume/ssh-publickey
/etc/secret-volume/ssh-privatekey

然后容器可以自由使用 Secret 数据建立一个 SSH 连接。

案例：包含生产/测试凭据的 Pod

下面的例子展示的是两个 Pod。一个 Pod 使用包含生产环境凭据的 Secret，另一个 Pod 使用包含测试环境凭据的 Secret。

你可以创建一个带有 secretGenerator 字段的 kustomization.yaml 文件，或者执行 kubectl create secret：

kubectl create secret generic prod-db-secret \
  --from-literal=username=produser \
  --from-literal=password=Y4nys7f11
输出类似于：

secret "prod-db-secret" created
kubectl create secret generic test-db-secret \
  --from-literal=username=testuser \
  --from-literal=password=iluvtests
输出类似于：

secret "test-db-secret" created

说明：
特殊字符（例如 $、\、、= 和 !）会被你的 Shell解释，因此需要转义。在大多数 Shell 中，对密码进行转义的最简单方式是用单引号（’）将其括起来。例如，如果您的实际密码是 S!B\d$zDsb，则应通过以下方式执行命令：

kubectl create secret generic dev-db-secret --from-literal=username=devuser --from-literal=password='S!B\*d$zDsb='

您无需对文件中的密码（—from-file）中的特殊字符进行转义。

创建 pod ：

$ cat <<EOF > pod.yaml
apiVersion: v1
kind: List
items:
- kind: Pod
  apiVersion: v1
  metadata:
    name: prod-db-client-pod
    labels:
      name: prod-db-client
  spec:
    volumes:
    - name: secret-volume
      secret:
        secretName: prod-db-secret
    containers:
    - name: db-client-container
      image: myClientImage
      volumeMounts:
      - name: secret-volume
        readOnly: true
        mountPath: "/etc/secret-volume"
- kind: Pod
  apiVersion: v1
  metadata:
    name: test-db-client-pod
    labels:
      name: test-db-client
  spec:
    volumes:
    - name: secret-volume
      secret:
        secretName: test-db-secret
    containers:
    - name: db-client-container
      image: myClientImage
      volumeMounts:
      - name: secret-volume
        readOnly: true
        mountPath: "/etc/secret-volume"
EOF

将 Pod 添加到同一个 kustomization.yaml 文件

$ cat <<EOF >> kustomization.yaml
resources:
- pod.yaml
EOF

通过下面的命令应用所有对象

kubectl apply -k .
两个容器都会在其文件系统上存在以下文件，其中包含容器对应的环境的值：

/etc/secret-volume/username
/etc/secret-volume/password

请注意，两个 Pod 的规约配置中仅有一个字段不同；这有助于使用共同的 Pod 配置模板创建具有不同能力的 Pod。

您可以使用两个服务账号进一步简化基本的 Pod 规约：

名为 prod-user 的服务账号拥有 prod-db-secret
名为 test-user 的服务账号拥有 test-db-secret
然后，Pod 规约可以缩短为：

apiVersion: v1
kind: Pod
metadata:
  name: prod-db-client-pod
  labels:
    name: prod-db-client
spec:
  serviceAccount: prod-db-client
  containers:
  - name: db-client-container
    image: myClientImage

案例：Secret 卷中以句点号开头的文件

你可以通过定义以句点开头的键名，将数据“隐藏”起来。例如，当如下 Secret 被挂载到 secret-volume 卷中：

apiVersion: v1
kind: Secret
metadata:
  name: dotfile-secret
data:
  .secret-file: dmFsdWUtMg0KDQo=
---
apiVersion: v1
kind: Pod
metadata:
  name: secret-dotfiles-pod
spec:
  volumes:
  - name: secret-volume
    secret:
      secretName: dotfile-secret
  containers:
  - name: dotfile-test-container
    image: k8s.gcr.io/busybox
    command:
    - ls
    - "-l"
    - "/etc/secret-volume"
    volumeMounts:
    - name: secret-volume
      readOnly: true
      mountPath: "/etc/secret-volume"

卷中将包含唯一的叫做 .secret-file 的文件。容器 dotfile-test-container 中，该文件处于 /etc/secret-volume/.secret-file 路径下。

说明：以点号开头的文件在 ls -l 的输出中会被隐藏起来；列出目录内容时，必须使用 ls -la 才能看到它们。

案例：Secret 仅对 Pod 中的一个容器可见

考虑一个需要处理 HTTP 请求、执行一些复杂的业务逻辑，然后使用 HMAC 签署一些消息的应用。因为应用程序逻辑复杂，服务器中可能会存在一个未被注意的远程文件读取漏洞，可能会将私钥暴露给攻击者。

解决的办法可以是将应用分为两个进程，分别运行在两个容器中：前端容器，用于处理用户交互和业务逻辑，但无法看到私钥；签名容器，可以看到私钥，响应来自前端（例如通过本地主机网络）的简单签名请求。

使用这种分割方法，攻击者现在必须欺骗应用程序服务器才能进行任意的操作，这可能比使其读取文件更难。

最佳实践

客户端使用 Secret API

当部署与 Secret API 交互的应用程序时，应使用鉴权策略，例如 RBAC，来限制访问。

Secret 中的值对于不同的环境来说重要性可能不同。很多 Secret 都可能导致 Kubernetes 集群内部的权限越界（例如服务账号令牌）甚至逃逸到集群外部。即使某一个应用程序可以就所交互的 Secret 的能力作出正确抉择，但是同一命名空间中的其他应用程序却可能不这样做。

由于这些原因，在命名空间中 watch 和 list Secret 的请求是非常强大的能力，是应该避免的行为。列出 Secret 的操作可以让客户端检查该命名空间中存在的所有 Secret。在群集中 watch 和 list 所有 Secret 的能力应该只保留给特权最高的系统级组件。

需要访问 Secret API 的应用程序应该针对所需要的 Secret 执行 get 请求。这样，管理员就能限制对所有 Secret 的访问，同时为应用所需要的实例设置访问允许清单。

为了获得高于轮询操作的性能，客户端设计资源时，可以引用 Secret，然后对资源执行 watch 操作，在引用更改时重新检索 Secret。此外，社区还存在一种 “批量监控” API 的提案，允许客户端 watch 独立的资源，该功能可能会在将来的 Kubernetes 版本中提供。

安全属性

保护
因为 Secret 对象可以独立于使用它们的 Pod 而创建，所以在创建、查看和编辑 Pod 的流程中 Secret 被暴露的风险较小。系统还可以对 Secret 对象采取额外的预防性保护措施，例如，在可能的情况下避免将其写到磁盘。

只有当某节点上的 Pod 需要用到某 Secret 时，该 Secret 才会被发送到该节点上。 Secret 不会被写入磁盘，而是被 kubelet 存储在 tmpfs 中。一旦依赖于它的 Pod 被删除，Secret 数据的本地副本就被删除。

同一节点上的很多个 Pod 可能拥有多个 Secret。但是，只有 Pod 所请求的 Secret 在其容器中才是可见的。因此，一个 Pod 不能访问另一个 Pod 的 Secret。

同一个 Pod 中可能有多个容器。但是，Pod 中的每个容器必须通过 volumeeMounts 请求挂载 Secret 卷才能使卷中的 Secret 对容器可见。这一实现可以用于在 Pod 级别构建安全分区。

在大多数 Kubernetes 发行版中，用户与 API 服务器之间的通信以及从 API 服务器到 kubelet 的通信都受到 SSL/TLS 的保护。通过这些通道传输时，Secret 受到保护。

FEATURE STATE: Kubernetes v1.13 [beta]
你可以为 Secret 数据开启静态加密，这样 Secret 数据就不会以明文形式存储到etcd 中。

风险
API 服务器上的 Secret 数据以纯文本的方式存储在 etcd 中，因此：
管理员应该为集群数据开启静态加密（要求 v1.13 或者更高版本）。
管理员应该限制只有 admin 用户能访问 etcd；
API 服务器中的 Secret 数据位于 etcd 使用的磁盘上；管理员可能希望在不再使用时擦除/粉碎 etcd 使用的磁盘
如果 etcd 运行在集群内，管理员应该确保 etcd 之间的通信使用 SSL/TLS 进行加密。
如果您将 Secret 数据编码为 base64 的清单（JSON 或 YAML）文件，共享该文件或将其检入代码库，该密码将会被泄露。 Base64 编码不是一种加密方式，应该视同纯文本。
应用程序在从卷中读取 Secret 后仍然需要保护 Secret 的值，例如不会意外将其写入日志或发送给不信任方。
可以创建使用 Secret 的 Pod 的用户也可以看到该 Secret 的值。即使 API 服务器策略不允许用户读取 Secret 对象，用户也可以运行 Pod 导致 Secret 暴露。
目前，任何节点的 root 用户都可以通过模拟 kubelet 来读取 API 服务器中的任何 Secret。仅向实际需要 Secret 的节点发送 Secret 数据才能限制节点的 root 账号漏洞的影响，该功能还在计划中。