跟踪 Kubernetes 的网络流量路径

• 在不使用网络地址转换 (NAT) 的情况下，集群中的 Pod 能够与任意其他 Pod 进行通信。
• 在不使用网络地址转换 (NAT) 的情况下，在集群节点上运行的程序能与同一节点上的任何 Pod 进行通信。
• 每个 Pod 都有自己的 IP 地址（IP-per-Pod），并且任意其他 Pod 都可以通过相同的这个地址访问它。

1. 如何确保同一个 Pod 中的容器行为就像它们在同一个主机上一样？
2. 集群中的 Pod 能否访问其他 Pod？
3. Pod 可以访问服务吗？服务是负载均衡的吗？
4. Pod 可以接收集群外部的流量吗？

Linux 网络命名空间如何在 Pod 中工作

apiVersion: v1
kind: Pod
metadata:
  name: multi-container-Pod
spec:
  containers:
    - name: container-1
      image: busybox
      command: ['/bin/sh', '-c', 'sleep 1d']
    - name: container-2
      image: nginx

1. Pod 在节点上拥有独立的网络命名空间。
2. 分配一个 IP 地址给 Pod ，两个容器之间共享端口。
3. 两个容器共享相同的网络命名空间，并在本地彼此可见。

1. 物理网络接口持有根网络命名空间。

1. 可以使用 Linux 网络命名空间来创建独立的网络。每个网络都是独立的，除非进行配置，默认不会与其他网络互通。

$ ip netns list
cni-0f226515-e28b-df13-9f16-dd79456825ac (id: 3)
cni-4e4dfaac-89a6-2034-6098-dd8b2ee51dcd (id: 4)
cni-7e94f0cc-9ee8-6a46-178a-55c73ce58f2e (id: 2)
cni-7619c818-5b66-5d45-91c1-1c516f559291 (id: 1)
cni-3004ec2c-9ac2-2928-b556-82c7fb37a4d8 (id: 0)

1. 分配 IP 地址。
2. 将容器连接到网络。

1. 当创建 Pod 时，容器运行时会给容器创建一个网络命名空间。

$ lsns -t net
        NS TYPE NPROCS   PID USER     NETNSID NSFS                           COMMAND
4026531992 net     171     1 root  unassigned /run/docker/netns/default      /sbin/init noembed norestore
4026532286 net       2  4808 65535          0 /run/docker/netns/56c020051c3b /pause
4026532414 net       5  5489 65535          1 /run/docker/netns/7db647b9b187 /pause

在 Pod 中，pause 容器创建了网络命名空间

$ lsns
        NS TYPE   NPROCS   PID USER            COMMAND
# truncated output
4026532414 net         5  5489 65535           /pause
4026532513 mnt         1  5599 root            sleep 1d
4026532514 uts         1  5599 root            sleep 1d
4026532515 pid         1  5599 root            sleep 1d
4026532516 mnt         3  5777 root            nginx: master process nginx -g daemon off;
4026532517 uts         3  5777 root            nginx: master process nginx -g daemon off;
4026532518 pid         3  5777 root            nginx: master process nginx -g daemon off;

$ sudo lsns -p 5777
       NS TYPE   NPROCS   PID USER  COMMAND
4026531835 cgroup    178     1 root  /sbin/init noembed norestore
4026531837 user      178     1 root  /sbin/init noembed norestore
4026532411 ipc         5  5489 65535 /pause
4026532414 net         5  5489 65535 /pause
4026532516 mnt         3  5777 root  nginx: master process nginx -g daemon off;
4026532517 uts         3  5777 root  nginx: master process nginx -g daemon off;
4026532518 pid         3  5777 root  nginx: master process nginx -g daemon off;

集群中的每个 Pod 都有一个额外的隐藏容器在后台运行，称为 pause 容器。

$ docker ps | grep pause
fa9666c1d9c6   k8s.gcr.io/pause:3.4.1  "/pause"  k8s_POD_kube-dns-599484b884-sv2js…
44218e010aeb   k8s.gcr.io/pause:3.4.1  "/pause"  k8s_POD_blackbox-exporter-55c457d…
5fb4b5942c66   k8s.gcr.io/pause:3.4.1  "/pause"  k8s_POD_kube-dns-599484b884-cq99x…
8007db79dcf2   k8s.gcr.io/pause:3.4.1  "/pause"  k8s_POD_konnectivity-agent-84f87c…

1. 创建 Pod 时，容器运行时会创建一个带有睡眠容器的网络命名空间。

1. 使 busybox 容器加入之前的网络命名空间。
2. 分配 IP 地址。
3. 将容器连接到网络。

如果 Pod 中的一个容器崩溃了，剩下的仍然可以回复其他网络请求。

分配一个 IP 地址给 Pod

在 Pod 网络命名空间内，创建了一个接口，并分配了一个 IP 地址。

$ kubectl get Pod multi-container-Pod -o jsonpath={.status.PodIP}
10.244.4.40

$ ls -lt /var/run/netns
total 0
-r--r--r-- 1 root root 0 Sep 25 13:34 cni-0f226515-e28b-df13-9f16-dd79456825ac
-r--r--r-- 1 root root 0 Sep 24 09:39 cni-4e4dfaac-89a6-2034-6098-dd8b2ee51dcd
-r--r--r-- 1 root root 0 Sep 24 09:39 cni-7e94f0cc-9ee8-6a46-178a-55c73ce58f2e
-r--r--r-- 1 root root 0 Sep 24 09:39 cni-7619c818-5b66-5d45-91c1-1c516f559291
-r--r--r-- 1 root root 0 Sep 24 09:39 cni-3004ec2c-9ac2-2928-b556-82c7fb37a4d8

$ ip netns exec cni-0f226515-e28b-df13-9f16-dd79456825ac ip a
# output truncated
3: eth0@if12: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP group default
    link/ether 16:a4:f8:4f:56:77 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 10.244.4.40/32 brd 10.244.4.40 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::14a4:f8ff:fe4f:5677/64 scope link
       valid_lft forever preferred_lft forever

$ ip link | grep -A1 ^12
12: vethweplb3f36a0@if16: mtu 1376 qdisc noqueue master weave state UP mode DEFAULT group default
    link/ether 72:1c:73:d9:d9:f6 brd ff:ff:ff:ff:ff:ff link-netnsid 1

$ ip netns exec cni-0f226515-e28b-df13-9f16-dd79456825ac netstat -lnp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      692698/nginx: master
tcp6       0      0 :::80                   :::*                    LISTEN      692698/nginx: master

查看集群中 Pod 到 Pod 的流量

1. Pod 流量的目的地是同一节点上的 Pod。
2. Pod 流量的目的地是在不同节点上的 Pod。

为了让一个 Pod 与其他 Pod 通信，它必须先访问节点的根命名空间。

$ ip link add veth1 netns Pod-namespace type veth peer veth2 netns root

$ ip netns exec cni-0f226515-e28b-df13-9f16-dd79456825ac ip addr add 10.244.4.40/24 dev veth1
$ ip netns exec cni-0f226515-e28b-df13-9f16-dd79456825ac ip link set veth1 up
$ ip netns exec cni-0f226515-e28b-df13-9f16-dd79456825ac ip route add default via 10.244.4.40

$ ip addr add 169.254.132.141/16 dev veth2
$ ip link set veth2 up

$ ip netns exec cni-0f226515-e28b-df13-9f16-dd79456825ac ip link show type veth
3: eth0@if12: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP mode DEFAULT group default
    link/ether 16:a4:f8:4f:56:77 brd ff:ff:ff:ff:ff:ff link-netnsid 0

$ ip link show type veth
# output truncated
12: cali97e50e215bd@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1450 qdisc noqueue state UP mode DEFAULT group default
    link/ether ee:ee:ee:ee:ee:ee brd ff:ff:ff:ff:ff:ff link-netns cni-0f226515-e28b-df13-9f16-dd79456825ac

Pod 网络命名空间连接到以太网桥

跟踪在同一节点上 Pod 到 Pod 的流量

1. 由于访问目标不在同一个命名空间，Pod-A 将数据包发送到其默认接口 eth0。这个接口与 veth 对的一端绑定，作为隧道。这样，数据包会被转发到节点上的根命名空间。

跟踪不同节点上的 Pod 到 Pod 通信

1. 前几个步骤保持不变，直到数据包到达根命名空间并需要发送到 Pod-B。

按位运算的工作原理

0 AND 0 = 0
0 AND 1 = 0
1 AND 0 = 0
1 AND 1 = 1

1. 现在，数据包路由到另一个节点的默认接口，称为 Node-B。

1. 以相反的顺序。现在，数据包位于 Node-B 的根命名空间，并到达网桥，这里会进行 ARP 解析。

1. 路由系统将返回与 Pod-B 相连的接口的 MAC 地址。

容器网络接口 - CNI

• Calico
• Cillium
• Flannel
• Weave Net
• 其他网络插件

• 创建接口。
• 创建 veth 对。
• 设置网络命名空间。
• 设置静态路由。
• 配置以太网桥。
• 分配 IP 地址。
• 创建 NAT 规则。
• 还有其他大量事情。

• ADD - 向网络添加一个容器。
• DEL - 从网络中删除一个容器。
• CHECK - 如果容器的网络出现问题，则返回错误。
• VERSION - 显示插件的版本。

但是，Kubelet 以 JSON 格式指定配置并发送至 CNI 插件。

$ cat 10-calico.conflist
{
  "name": "k8s-Pod-network",
  "cniVersion": "0.3.1",
  "plugins": [
    {
      "type": "calico",
      "datastore_type": "kubernetes",
      "mtu": 0,
      "nodename_file_optional": false,
      "log_level": "Info",
      "log_file_path": "/var/log/calico/cni/cni.log",
      "ipam": { "type": "calico-ipam", "assign_ipv4" : "true", "assign_ipv6" : "false"},
      "container_settings": {
          "allow_ip_forwarding": false
      },
      "policy": {
          "type": "k8s"
      },
      "kubernetes": {
          "k8s_api_root":"https://10.96.0.1:443",
          "kubeconfig": "/etc/cni/net.d/calico-kubeconfig"
      }
    },
    {
      "type": "bandwidth",
      "capabilities": {"bandwidth": true}
    },
    {"type": "portmap", "snat": true, "capabilities": {"portMappings": true}}
  ]
}

检查 Pod 到 Service 的流量

使用 Netfilter 和 Iptables 拦截和重写流量

1. 网络过滤器
2. iptables

Netfilter 是一个可以配置数据包过滤、创建 NAT 、端口转发规则以及管理网络中流量的框架

• PRE_ROUTING
• INPUT
• FORWARD
• OUTPUT
• POST_ROUTING

• NF_IP_PRE_ROUTING
• NF_IP_LOCAL_IN
• NF_IP_FORWARD
• NF_IP_LOCAL_OUT
• NF_IP_POST_ROUTING

$ iptables-save

检查来自服务的响应

总 结

• 容器如何在本地或 Pod 内通信。
• 在相同节点和不同节点上的 Pod 如何通信。
• Pod-to-Service - Pod 如何将流量发送到 Kubernetes 中服务后面的 Pod 时。
• 什么是命名空间、veth、iptables、chains、conntrack、Netfilter、CNI、overlay 网络，以及 Kubernetes 网络工具箱中所需的一切。

原文链接：https://learnk8s.io/kubernetes-network-packets