host-gw模型：在同一网关上
VxLAN模型：不在同一网关上
网络插件Flannel介绍：https://www.kubernetes.org.cn/3682.html
首先，flannel利用Kubernetes API或者etcd用于存储整个集群的网络配置，其中最主要的内容为设置集群的网络地址空间。例如，设定整个集群内所有容器的IP都取自网段“10.1.0.0/16”。
接着，flannel在每个主机中运行flanneld作为agent，它会为所在主机从集群的网络地址空间中，获取一个小的网段subnet，本主机内所有容器的IP地址都将从中分配。
然后，flanneld再将本主机获取的subnet以及用于主机间通信的Public IP，同样通过kubernetes API或者etcd存储起来。
最后，flannel利用各种backend mechanism，例如udp，vxlan等等，跨主机转发容器间的网络流量，完成容器间的跨主机通信。
1、下载flannel插件
在所有node节点安装flannel插件，本次环境在hdss7-21，hdss7-22上：
cd /opt/src
wget https://github.com/coreos/flannel/releases/download/v0.11.0/flannel-v0.11.0-linux-amd64.tar.gz
mkdir /opt/flannel-v0.11.0
tar xf flannel-v0.11.0-linux-amd64.tar.gz -C /opt/flannel-v0.11.0/
ln -s /opt/flannel-v0.11.0/ /opt/flannel
2、因为要和apiserver通信，所以要配置client证书：
cd /opt/flannel
mkdir cert
scp hdss7-200:/opt/certs/ca.pem .
scp hdss7-200:/opt/certs/client.pem .
scp hdss7-200:/opt/certs/client-key.pem .
3、编辑环境变量env文件：红色部分根据node节点信息修改
vi /opt/flannel/subnet.env
输入：
FLANNEL_NETWORK=172.7.0.0/16
FLANNEL_SUBNET=172.7.21.1/24
FLANNEL_MTU=1500
FLANNEL_IPMASQ=false
4、编辑启动脚本：红色部分根据node节点信息修改，并且eth0信息根据本机网卡信息修改
vi /opt/flannel/flanneld.sh
输入
#!/bin/sh
./flanneld \
—public-ip=10.4.7.21 \
—etcd-endpoints=https://10.4.7.12:2379,https://10.4.7.21:2379,https://10.4.7.22:2379 \
—etcd-keyfile=./cert/client-key.pem \
—etcd-certfile=./cert/client.pem \
—etcd-cafile=./cert/ca.pem \
—iface=eth0 \
—subnet-file=./subnet.env \
—healthz-port=2401
chmod u+x flanneld.sh
创建日志存放目录：
mkdir -p /data/logs/flanneld
在etcd中增加网络配置信息：
cd /opt/etcd
测试使用 host-gw模型(/opt/etcd)：
设置模型：./etcdctl set /coreos.com/network/config ‘{“Network”: “172.7.0.0/16”, “Backend”: {“Type”: “host-gw”}}’:
获取设置信息：./etcdctl get /coreos.com/network/config
5、编辑supervisor启动脚本：红色部分记得修改
vi /etc/supervisord.d/flannel.ini
输入：
[program:flanneld-7-21]
command=/opt/flannel/flanneld.sh ; the program (relative uses PATH, can take args)
numprocs=1 ; number of processes copies to start (def 1)
directory=/opt/flannel ; directory to cwd to before exec (def no cwd)
autostart=true ; start at supervisord start (default: true)
autorestart=true ; retstart at unexpected quit (default: true)
startsecs=30 ; number of secs prog must stay running (def. 1)
startretries=3 ; max # of serial start failures (default 3)
exitcodes=0,2 ; ‘expected’ exit codes for process (default 0,2)
stopsignal=QUIT ; signal used to kill process (default TERM)
stopwaitsecs=10 ; max num secs to wait b4 SIGKILL (default 10)
user=root ; setuid to this UNIX account to run the program
redirect_stderr=true ; redirect proc stderr to stdout (default false)
stdout_logfile=/data/logs/flanneld/flanneld.stdout.log ; stderr log path, NONE for none; default AUTO
stdout_logfile_maxbytes=64MB ; max # logfile bytes b4 rotation (default 50MB)
stdout_logfile_backups=4 ; # of stdout logfile backups (default 10)
stdout_capture_maxbytes=1MB ; number of bytes in ‘capturemode’ (default 0)
stdout_events_enabled=false ; emit events on stdout writes (default false)
更新supervisor配置：
supervisorctl update
supervisorctl status
在10.4.7.21上执行:ping 172.7.22.1
输出：
64 bytes from 172.7.22.1: icmp_seq=1 ttl=64 time=0.538 ms
64 bytes from 172.7.22.1: icmp_seq=2 ttl=64 time=0.333 ms
64 bytes from 172.7.22.1: icmp_seq=3 ttl=64 time=0.298 ms
64 bytes from 172.7.22.1: icmp_seq=4 ttl=64 time=0.369 ms
64 bytes from 172.7.22.1: icmp_seq=5 ttl=64 time=0.283 ms
64 bytes from 172.7.22.1: icmp_seq=6 ttl=64 time=0.264 ms
64 bytes from 172.7.22.1: icmp_seq=7 ttl=64 time=0.356 ms
64 bytes from 172.7.22.1: icmp_seq=8 ttl=64 time=0.640 ms
在10.4.7.21上：route -n
输出：
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 10.4.7.254 0.0.0.0 UG 100 0 0 eth0
10.4.7.0 0.0.0.0 255.255.255.0 U 100 0 0 eth0
172.7.21.0 0.0.0.0 255.255.255.0 U 0 0 0 docker0
172.7.22.0 10.4.7.22 255.255.255.0 UG 0 0 0 eth0
192.168.122.0 0.0.0.0 255.255.255.0 U 0 0 0 virbr0
设置vxlan模型：
从host-gw模型切换到VxLAN模型：
1、先关掉flanneld:supervisorctl stop flanneld-7-22
2、ps aux | grep flannld 查看flanneld的进程并杀死 kill 进程id
3、删除设置的路由：route del -net 172.7.22.0/24 gw 10.7.4.22
删除模型：./etcd rm /coreos.com/network/config
设置模型(/opt/etcd)：./etcdctl set /coreos.com/network/config ‘{“Network”: “172.7.0.0/16”, “Backend”: {“Type”: “vxlan”}}’
查看网络模型配置：
./etcdctl get /coreos.com/network/config
然后在启动flanneld
重启flanneld：
supervisorctl restart flanneld-7-21
可以发现多了一块网卡，这块网卡就是vxlan用于隧道通信的虚拟网卡：
直接路由模型DirectRouting：
./etcdctl set /coreos.com/network/config ‘{“Network”: “172.7.0.0/16”, “Backend”: {“Type”: “vxlan”,”DirectRouting”:true}}’
supervisorctl restart flanneld-7-21
6、flannel之SNAT规则优化
优化flannel：
将 /root/nginx-ds.yaml的镜像配置改为harbor.jack.com/public/nginx:curl
应用镜像：
kubectl apply -f nginx-ds.yaml
删除pod：
kubectl delete pod nginx-ds-cbwxv -n default
kubectl delete pod nginx-ds-z7flc -n default
1、在10.4.7.21上执行：kubectl get pods -o wide
输出：
2、进入10.4.7.21上的pod：kubectl exec -ti nginx-ds-vbt9n /bin/bash
执行：curl 172.7.22.2
3、在10.4.7.22上查看nginx-ds-kzzvd的访问日志：kubectl logs -f nginx-ds-kzzvd
发现请求来源是nginx-ds-vbt9n的宿主机ip 10.4.7.21，说明在集群内部做了源地址NAT转换，但期望地址是nginx-ds-vbt9n 的地址172.7.21.2
NAT转换是在iptables的postrouting上进行的
在10.4.7.21上执行：iptables-save | grep -i postrouting
输出：
这里需要修改iptables优化SNAT规则，否则在访问时，其他节点记录的是node节点的ip 10.4.7.21，而不是pod集群内部的172.7.21.x，红色部分按需修改
yum install iptables-services -y
systemctl start iptables && systemctl enable iptables
删除原有nat规则
iptables -t nat -D POSTROUTING -s 172.7.21.0/24 ! -o docker0 -j MASQUERADE
10.4.7.21主机上，来源是172.7.21.0/24网段的docker的ip，目标ip不是172.7.0.0/16网段，网络发包不从docker0桥设备出站的，才进行SNAT转换
iptables -t nat -I POSTROUTING -s 172.7.21.0/24 ! -d 172.7.0.0/16 ! -o docker0 -j MASQUERADE
保存当前规则
iptables-save |grep -i postrouting
保存当前规则到指定位置
iptables-save > /etc/sysconfig/iptables
此时发现ping 172.7.22.2不同，原因 iptables上有其他路由规则
将其删除：iptables -t filter -D INPUT -j REJECT —reject-with icmp-host-prohibited
iptables -t filter -D FORWARD -j REJECT —reject-with icmp-host-prohibited
保存：iptables-save > /etc/sysconfig/iptables
10.4.7.21上重复此操作
此时在10.4.7.21上的容器内执行curl 172.7.22.2，在10.4.7.22上查看日志发现：
修改后会影响到docker原本的iptables链的规则，所以需要重启docker服务
systemctl restart docker
若有收获，就点个赞吧
0 人点赞
