Kubernetes

在 Kubernetes 中，Pod 是容器组的概念，一个 Pod 可以包含多个容器。这些容器共享网络、存储等资源，为应用程序提供了一个更加灵活的运行环境。

容器的本质是一个特殊的进程，特殊在为其创建了 NameSpace 隔离运行环境，并用 Cgroups 控制资源开销，还借助了一些Linux 网络虚拟化技术解决了网络通信的问题。

Pod 所做的则是让多个容器加入同一个 NameSpace 以实现资源共享。

接下来，可以使用 Docker 来还原 Pod 的实现原理。

容器共享 NameSpace

现在要部署一个 Pod ，其中包含 nginx 和 busybox 两个容器，前者作为主应用提供 Web 服务，后者作为 Sidecar 调试容器。 首先启动 nginx 容器： 
  1. docker run -d --name nginx --ipc="shareable" -v $PWD/log:/var/log/nginx -v $PWD/html:/usr/share/nginx/html nginx
默认情况下，Docker 的 IPC Namespace 是私有的，可以使用 <font style="color:rgb(60, 112, 198);">--ipc="shareable"</font> 来指定允许共享。<font style="color:rgb(60, 112, 198);">-v</font> 参数的作用就不多讲了。

接下来启动 busybox 容器，并加入到 nginx 容器的 NET、IPC、PID NameSpace 中，同时，共享 nginx 容器的 Volume ，以便可以访问 nginx 的日志文件：

  1. docker run -d --name busybox --net=container:nginx --ipc=container:nginx --pid=container:nginx -v $PWD/log:/var/log/nginx yauritux/busybox-curl /bin/sh -c 'while true; do sleep 1h; done;'

两个容器都启动后，就可以在 busybox 容器中直接调试 nginx 容器的资源了：

  1. [root@vm ~]# echo "hello pod" > $PWD/html/index.html
  2. [root@vm ~]# docker exec -it busybox ps
  3. PID   USER     TIME  COMMAND
  4.     1 root      0:00 nginx: master process nginx -g daemon off;
  5.    29 101       0:00 nginx: worker process
  6.    30 101       0:00 nginx: worker process
  7.    31 root      0:00 /bin/sh -c while true; do sleep 1h; done;
  8.    37 root      0:00 sleep 1h
  9.    38 root      0:00 ps
  10. [root@vm ~]# docker exec -it busybox curl localhost
  11. hello pod
  12. [root@vm ~]# docker exec -it busybox tail /var/log/nginx/access.log
  13. 127.0.0.1 - - [30/Mar/2023:08:07:58 +0000] "GET / HTTP/1.1" 200 10 "-" "curl/7.81.0" "-"
  14. [root@vm ~]#

在 busybox 容器中，不仅可以看到 nginx 容器的进程，还可以直接访问 nginx 服务和共享的日志文件目录。

但是，由于 Namespace 是由 nginx 容器创建的，如果 nginx 意外崩溃，那么所有 Namespace 都会一同被删除，busybox 容器也会被终止：

  1. [root@vm ~]# docker stop nginx
  2. nginx
  3. [root@vm ~]# docker exec -it busybox ps
  4. Error response from daemon: Container fca6ea0fe9f177f62d4b2d5d7db5bf64766d605f0414a8995c8d93159efeed4a is not running
  5. [root@vm ~]#
显然，让业务容器充当共享基础容器是不可取的，必须保证每个容器都是对等的关系，而不是父子关系。Kubernetes 也考虑到了这一点。

Pause 容器

Pause 容器，又叫 Infra 容器。为了解决共享基础容器的安全问题， Kubernetes 会在每个 Pod 里，额外起一个 Infra 容器来共享整个 Pod 的 Namespace 。

Pause 容器会在 Pod 创建时首先启动，并创建 Namespace 、配置网络 IP 地址及路由等相关信息。可以说，Pause 容器的生命周期就相当于是整个 Pod 的生命周期。

等 Pause 容器启动完成后，其它容器才接着启动，并与 Pause 容器共享 Namespace。这样，每个容器就都可以访问 Pod 中其他容器的资源了。

具体的创建过程可以查看 kubelet 的源码：pkg/kubelet/kuberuntime/kuberuntime_manager.go#L678 Kubernetes Pod 实现原理 - 图1 其中第 4 步的创建 Sandbox 沙盒容器，实际就是创建 Pause 容器。之后才继续后面的 init 容器、正常容器的创建。 作用如此重要的 Pause 容器也决定了它的特点： 1、镜像非常小：gcr.io/google_containers/pause-amd64 Kubernetes Pod 实现原理 - 图2 2、性能开销几乎可以忽略：pause.c Kubernetes Pod 实现原理 - 图3 了解了 Pause 容器后，重新开始 Pod 原理试验。 从新环境开始，这次首先启动的应该是 Pause 容器了： bash docker run -d --name pause --ipc="shareable" gcr.io/google_containers/pause-amd64:3.2 然后再启动 nginx 容器，加入到 Pause 容器的 Namespace ： bash docker run -d --name nginx --net=container:pause --ipc=container:pause --pid=container:pause -v $PWD/log:/var/log/nginx -v $PWD/html:/usr/share/nginx/html nginx 同理 busybox 容器： bash docker run -d --name busybox --net=container:pause --ipc=container:pause --pid=container:pause -v $PWD/log:/var/log/nginx yauritux/busybox-curl /bin/sh -c 'while true; do sleep 1h; done;' 现在在 busybox 容器中将可以同时看到 pause 和 nginx 容器的进程： bash [root@vm ~]# echo "hello pod" > $PWD/html/index.html [root@vm ~]# docker exec -it busybox ps PID USER TIME COMMAND 1 root 0:00 /pause 8 root 0:00 nginx: master process nginx -g daemon off; 36 101 0:00 nginx: worker process 37 101 0:00 nginx: worker process 38 root 0:00 /bin/sh -c while true; do sleep 1h; done; 45 root 0:00 sleep 1h 46 root 0:00 ps [root@vm ~]# docker exec -it busybox curl localhost hello pod [root@vm ~]# docker exec -it busybox tail /var/log/nginx/access.log 127.0.0.1 - - [30/Mar/2023:08:49:49 +0000] "GET / HTTP/1.1" 200 10 "-" "curl/7.81.0" "-" [root@vm ~]# 而且即使 nginx 意外崩溃了，也不会影响到 busybox 容器： bash [root@vm ~]# docker stop nginx nginx [root@vm ~]# docker exec -it busybox ps PID USER TIME COMMAND 1 root 0:00 /pause 38 root 0:00 /bin/sh -c while true; do sleep 1h; done; 45 root 0:00 sleep 1h 66 root 0:00 ps [root@vm ~]# ### 回到 Kubernetes 相信你现在已经理解，在 Kubernetes 集群中执行 <font style="color:rgb(60, 112, 198);">kubectl apply -f nginx-busybox-pod.yaml</font> 命令后所发生的事情： 
  1. apiVersion: v1
  2. kind: Pod
  3. metadata:
  4.   name: nginx-busybox-pod
  5. spec:
  6.   shareProcessNamespace: true
  7.   containers:
  8.   - name: nginx
  9.     image: nginx
  10.     volumeMounts:
  11.     - name: nginx-log
  12.       mountPath: /var/log/nginx
  13.     - name: nginx-html
  14.       mountPath: /usr/share/nginx/html
  15.     ports:
  16.     - containerPort: 80
  17.   - name: busybox
  18.     image: yauritux/busybox-curl
  19.     command: ["/bin/sh", "-c", "while true; do sleep 1h; done;"]
  20.     volumeMounts:
  21.     - name: nginx-log
  22.       mountPath: /var/log/nginx
  23.   volumes:
  24.   - name: nginx-log
  25.     emptyDir: {}
  26.   - name: nginx-html
  27.     emptyDir: {}

（改：应为 -c busybox ps）第一个进程就是 pause

原理就是这么简单。

参考资料

pkg/kubelet/kuberuntime/kuberuntime_manager.go#L678:** [https://github.com/kubernetes/kubernetes/blob/v1.26.1/pkg/kubelet/kuberuntime/kuberuntime_manager.go#L678**](https://github.com/kubernetes/kubernetes/blob/v1.26.1/pkg/kubelet/kuberuntime/kuberuntime_manager.go#L678)

gcr.io/google_containers/pause-amd64:** [https://console.cloud.google.com/gcr/images/google-containers/GLOBAL/pause-amd64**](https://console.cloud.google.com/gcr/images/google-containers/GLOBAL/pause-amd64)

pause.c: https://github.com/kubernetes/kubernetes/blob/master/build/pause/linux/pause.c