k8s Service - 《容器知识库》

Service 的概念
Service 的类型
- Service 在 K8s 中有以下四种类型：
VIP 和 Service 代理
代理模式的分类
示例说明
Ingree
示例说明
- Ingress HTTP 代理示例
- Ingress HTTPS 代理示例

Service 的概念

Kubernetes Service 定义了这样一种抽象：一个 Pod 的逻辑分组，一种可以访问它们的策略 —— 通常称为微服务。这一组 Pod 能够被 Service 访问到，通常是通过 Label Selector

Service能够提供负载均衡的能力，但是在使用上有以下限制：

只提供 4 层负载均衡能力，而没有 7 层功能，但有时我们可能需要更多的匹配规则来转发请求，这点上 4 层负载均衡是不支持的

Service 的类型

Service 在 K8s 中有以下四种类型：

ClusterIp ：默认类型，自动分配一个仅 Cluster 内部可以访问的虚拟 IP
NodePort：在 ClusterIP 基础上为 Service 在每台机器上绑定一个端口，这样就可以通过 : NodePort 来访问该服务
LoadBalancer：在 NodePort 的基础上，借助 cloud provider 创建一个外部负载均衡器，并将请求转发到：NodePort
ExternalName：把集群外部的服务引入到集群内部来，在集群内部直接使用。没有任何类型代理被创建，这只有 kubernetes 1.7 或更高版本的 kube-dns 才支持

VIP 和 Service 代理

在 Kubernetes 集群中，每个 Node 运行一个 kube-proxy 进程。 kube-proxy 负责为 Service 实现了一种 VIP （虚拟 IP）的形式，而不是 ExternalName 的形式。在 Kubernetes v1.0 版本，代理完全在 userspace。在Kubernetes v1.1 版本，新增了 iptables 代理，但并不是默认的运行模式。从 Kubernetes v1.2 起，默认就是iptables 代理。在 Kubernetes v1.8.0-beta.0 中，添加了 ipvs 代理

在 Kubernetes 1.14 版本开始默认使用 ipvs 代理

在 Kubernetes v1.0 版本， Service 是 “4层”（TCP/UDP over IP）概念。在 Kubernetes v1.1 版本，新增了
Ingress API （beta 版），用来表示 “7层”（HTTP）服务

为何不使用 round-robin DNS？！

代理模式的分类

Ⅰ、userspace 代理模式

Ⅱ、iptables 代理模式

Ⅲ、* ipvs 代理模式

这种模式，kube-proxy 会监视 Kubernetes Service 对象和 Endpoints ，调用 netlink 接口以相应地创建 ipvs 规则并定期与 Kubernetes Service 对象和 Endpoints 对象同步 ipvs 规则，以确保 ipvs 状态与期望一致。访问服务时，流量将被重定向到其中一个后端 Pod
与 iptables 类似，ipvs 于 netﬁlter 的 hook 功能，但使用哈希表作为底层数据结构并在内核空间中工作。这意味着 ipvs 可以更快地重定向流量，并且在同步代理规则时具有更好的性能。此外，ipvs 为负载均衡算法提供了更多选项，例如：

rr ：轮询调度
lc ：最小连接数
dh ：目标哈希
sh ：源哈希
sed ：最短期望延迟
nq ：不排队调度

示例说明

ClusterIP

clusterIP 主要在每个 node 节点使用 iptables ，将发向 clusterIP 对应端口的数据，转发到 kube-proxy 中。然后 kube-proxy 自己内部实现有负载均衡的方法，并可以查询到这个 service 下对应 pod 的地址和端口，进而把数据转发给对应的 pod 的地址和端口

为了实现图上的功能，主要需要以下几个组件的协同工作：

apiserver 用户通过 kubectl 命令向 apiserver 发送创建 service 的命令，apiserver 接收到请求后将数据存储到 etcd中
kube-proxy kubernetes 的每个节点中都有一个叫做 kube-porxy 的进程，这个进程负责感知 service，pod 的变化，并将变化的信息写入本地的 iptables 规则中
iptables 使用 NAT 等技术将 virtualIP 的流量转至 endpoint 中

创建 svc-deployment.yaml

cat <<EOF >./svc-deployment.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
  name: myapp-deployment
  namespace: default
spec:
  replicas: 3
  selector:
    matchLabels:
      app: myapp
      release: stabel
  template:
    metadata:
      labels:
        app: myapp
        release: stabel
        env: test
    spec:
      containers:
      - name: myapp
        image: hub.yangguoxiang.com/library/myapp:v2.0
        imagePullPolicy: IfNotPresent
        ports:
        - name: http
          containerPort: 80 
EOF

kubectl apply -f svc-deployment.yaml

创建 Service 信息

cat <<EOF >./svc-service.yaml
apiVersion: v1
kind: Service
metadata:
  name: myapp
  namespace: default
spec:
  type: ClusterIP
  selector:
    app: myapp
    release: stabel
  ports:
  - name: http
    port: 80
    targetPort: 80
EOF

$ kubectl apply -f svc-service.yaml
service/myapp created
$ ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  10.96.0.1:443 rr
  -> 192.168.5.80:6443            Masq    1      3          0         
TCP  10.103.202.179:80 rr
  -> 10.244.1.63:80               Masq    1      0          0         
  -> 10.244.1.64:80               Masq    1      0          0         
  -> 10.244.2.52:80               Masq    1      0          0
$ curl 10.103.202.179:80/hostname.html
myapp-deployment-55c4f54f54-gl6fj
$ curl 10.103.202.179:80/hostname.html
myapp-deployment-55c4f54f54-wvcgf

Headless Service

无头服务，也是中特殊的 ClusterIP

有时不需要或不想要负载均衡，以及单独的 Service IP 。遇到这种情况，可以通过指定 Cluster IP( .spec.clusterIP ) 的值为 “None” 来创建 Headless Service 。这类 Service 并不会分配 Cluster IP ， kube-proxy 不会处理它们，而且平台也不会为它们进行负载均衡和路由

cat <<EOF >./myapp-headless.yaml
apiVersion: v1
kind: Service
metadata:
  name: myapp-headless
  namespace: default
spec:
  selector:
    app: myapp
  clusterIP: "None"
  ports: 
  - port: 80
    targetPort: 80
EOF

$ kubectl get svc
NAME             TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)   AGE
myapp-headless   ClusterIP   None             <none>        80/TCP    52s
# # 下载 dig 命令
$ yum -y install bind-utils
$ kubectl get pod -n kube-system -o wide
NAME                                   READY   STATUS    RESTARTS   AGE    IP             NODE           NOMINATED NODE   READINESS GATES
coredns-5c98db65d4-8csxj               1/1     Running   10         6d3h   10.244.0.18    k8s-master01   <none>           <none>
coredns-5c98db65d4-lnddr               1/1     Running   11         6d3h   10.244.0.19    k8s-master01   <none>           <none>
$ dig -t A myapp-headless.default.svc.cluster.local. @10.244.0.18
...
;; ANSWER SECTION:
myapp-headless.default.svc.cluster.local. 30 IN    A 10.244.2.52
myapp-headless.default.svc.cluster.local. 30 IN    A 10.244.1.63
myapp-headless.default.svc.cluster.local. 30 IN    A 10.244.1.64
...
$ kubectl get pod -o wide
NAME                                READY   STATUS    RESTARTS   AGE   IP            NODE         NOMINATED NODE   READINESS GATES
myapp-deployment-55c4f54f54-gl6fj   1/1     Running   0          25m   10.244.2.52   k8s-node02   <none>           <none>
myapp-deployment-55c4f54f54-wmmzm   1/1     Running   0          25m   10.244.1.63   k8s-node01   <none>           <none>
myapp-deployment-55c4f54f54-wvcgf   1/1     Running   0          25m   10.244.1.64   k8s-node01   <none>           <none>

NodePort

NodePort 的原理在于在 node 上开了一个端口，将向该端口的流量导入到 kube-proxy ，然后由 kube-proxy 进一步到给对应的 pod

cat <<EOF >./nodePort.yaml
apiVersion: v1
kind: Service
metadata:
  name: myapp
  namespace: default
spec:
  type: NodePort
  selector:
    app: myapp
    release: stabel
  ports:
  - name: http
    port: 80
    targetPort: 80
EOF

测试操作命令

$ kubectl apply -f nodePort.yaml
service/myapp created
$ kubectl get svc
NAME             TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)        AGE
kubernetes       ClusterIP   10.96.0.1      <none>        443/TCP        6d3h
myapp            NodePort    10.99.47.212   <none>        80:32547/TCP   9s
# # 80 本地固定端口 32547 随机分配外部可访问每个节点的端口
$ ipvsadm -Ln
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.5.80:32547 rr
  -> 10.244.1.63:80               Masq    1      0          0
  -> 10.244.1.64:80               Masq    1      0          0
  -> 10.244.2.52:80               Masq    1      0          0
TCP  10.99.47.212:80 rr
  -> 10.244.1.63:80               Masq    1      0          0
  -> 10.244.1.64:80               Masq    1      0          0
  -> 10.244.2.52:80               Masq    1      0          0
$ curl 10.99.47.212/hostname.html
myapp-deployment-55c4f54f54-gl6fj
$ iptables -t nat -nvL  
KUBE-NODEPORTS

LoadBalancer

云服务负载，收费服务

loadBalancer 和 nodePort 其实是同一种方式。区别在于 loadBalancer 比 nodePort 多了一步，就是可以调用 cloud provider 去创建 LB 来向节点导流

ExternalName

做DNS映射，将外部地址引入内部使用

这种类型的 Service 通过返回 CNAME 和它的值，可以将服务映射到 externalName 字段的内容( 例如：hub.yangguoxiang.com )。ExternalName Service 是 Service 的特例，它没有 selector ，也没有定义任何的端口和
Endpoint。相反的，对于运行在集群外部的服务，它通过返回该外部服务的别名这种方式来提供服务

cat <<EOF >./externalName.yaml
kind: Service
apiVersion: v1
metadata:
  name: my-service-1
  namespace: default
spec:
  type: ExternalName
  externalName: hub.yangguoxiang.com
EOF

$ kubectl create -f externalName.yaml 
service/my-service-1 created
$ kubectl get svc
NAME           TYPE           CLUSTER-IP     EXTERNAL-IP            PORT(S)        AGE
kubernetes     ClusterIP      10.96.0.1      <none>                 443/TCP        6d4h
my-service-1   ExternalName   <none>         hub.yangguoxiang.com   <none>         26s
myapp          NodePort       10.99.47.212   <none>                 80:32547/TCP   16m
$ dig -t A my-service-1.default.svc.cluster.local. @10.244.0.18
...
;; ANSWER SECTION:
my-service-1.default.svc.cluster.local.    30 IN CNAME hub.yangguoxiang.com.
...

当查询主机 my-service.defalut.svc.cluster.local ( SVC_NAME.NAMESPACE.svc.cluster.local )时，集群的 DNS 服务将返回一个值 my.database.example.com 的 CNAME 记录。访问这个服务的工作方式和其他的相同，唯一不同的是重定向发生在 DNS 层，而且不会进行代理或转发

Ingree

资料信息

Ingress-Nginx github 地址：https://github.com/kubernetes/ingress-nginx Ingress-Nginx 官方网站：https://kubernetes.github.io/ingress-nginx/

nginx-ingress

导入 nginx-ingress 镜像

# # 国外服务器，网络快，直接 pull
[root@k8s-node01 ~]$ docker pull quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.25.0

# # 国内服务器，网络慢，导入镜像
[root@k8s-node01 ~]$ tar -zxvf ingree.contro.tar.gz
ingree.contro.tar
[root@k8s-node01 ~]$ docker load -i ingree.contro.tar
...
Loaded image: quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.25.0

部署 Ingress-Nginx

$ cd /root/install-k8s/plugin/ingress
$ wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/mandatory.yaml
$ kubectl apply -f mandatory.yaml
...
deployment.apps/nginx-ingress-controller created
# # 查看状态
$ kubectl get pod -n ingress-nginx
NAME                                        READY   STATUS             RESTARTS   AGE
nginx-ingress-controller-799dbf6fbd-nhz6z   0/1     ContainerCreating   0          7m38s
# # 查看未成功启动原因，发现从 quay.io 仓库拉取镜像过慢卡死
$ kubectl describe pod nginx-ingress-controller-799dbf6fbd-nhz6z -n ingress-nginx
...
Events:
  Type    Reason     Age    From                 Message
  ----    ------     ----   ----                 -------
  Normal  Scheduled  2m41s  default-scheduler    Successfully assigned ingress-nginx/nginx-ingress-controller-799dbf6fbd-glzct to k8s-node02
  Normal  Pulling    2m40s  kubelet, k8s-node02  Pulling image "quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.26.1"
# # 修改仓库地址 (mandatory.yaml)
image: quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.26.1
修改为：
image: quay-mirror.qiniu.com/kubernetes-ingress-controller/nginx-ingress-controller:0.26.1

$ wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/provider/baremetal/service-nodeport.yaml
$ kubectl apply -f service-nodeport.yaml
service/ingress-nginx created
$ kubectl get svc -n ingress-nginx
NAME            TYPE       CLUSTER-IP     EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx   NodePort   10.99.146.64   <none>        80:31199/TCP,443:31263/TCP   60s

Ingress HTTP 代理访问

cat <<EOF >./ingress-http-dm-svc.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: nginx-dm
spec:
  replicas: 2
  template:
    metadata:
      labels:
        name: nginx
    spec:
      containers:
        - name: nginx
          image: hub.yangguoxiang.com/library/myapp:v1.0
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-svc
spec:
  ports:
    - port: 80
      targetPort: 80
      protocol: TCP
  selector:
    name: nginx
EOF

$ kubectl apply -f ./ingress-http-dm-svc.yaml
deployment.extensions/nginx-dm created
service/nginx-svc created

cat <<EOF >./ingress-http-ingress.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: nginx-test
spec:
  rules:
    - host: www1.yangguoxiang.com
      http:
        paths:
        - path: /
          backend:
            serviceName: nginx-svc
            servicePort: 80
EOF

$ kubectl apply -f ./ingress-http-ingress.yaml
ingress.extensions/nginx-test created

测试

$ kubectl get svc -n ingress-nginx
NAME            TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx   NodePort   10.110.159.163   <none>        80:30521/TCP,443:32024/TCP   34m
在宿主机配置hostname映射：192.168.5.80 www1.yangguoxiang.com
访问地址：http://www1.yangguoxiang.com:30521/hostname.html

详细示例见示例说明 -> Ingress HTTP 代理示例

Ingress HTTPS 代理访问

创建证书，以及 cert 存储方式

$ openssl req -x509 -sha256 -nodes -days 365 \
-newkey rsa:2048 -keyout tls.key -out tls.crt \
-subj "/CN=nginxsvc/O=nginxsvc"
$ kubectl create secret tls tls-secret --key tls.key --cert tls.crt

cat <<EOF >./nginx-ingress-https.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: nginx-ingress-https
spec:
  tls:
    - hosts:
      - www3.yangguoxiang.com
      secretName: tls-secret
  rules:
    - host: www3.yangguoxiang.com
      http:
        paths:
        - path: /
          backend:
            serviceName: nginx-svc-3
            servicePort: 80
EOF

详细示例见示例说明 -> Ingress HTTPS 代理示例

Nginx 进行 BasicAuth

$ yum -y install httpd
$ htpasswd -c auth foo
输入密码：123456
确认密码：123456
$ kubectl create secret generic basic-auth --from-file=auth

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress-with-auth
  annotations:
    nginx.ingress.kubernetes.io/auth-type: basic
    nginx.ingress.kubernetes.io/auth-secret: basic-auth
    nginx.ingress.kubernetes.io/auth-realm:  'Authentication Required - foo'
spec:
  rules:
  - host: auth.yangguoxiang.com
    http:
      paths:
      - path: /
        backend:
          serviceName: nginx-svc-1
          servicePort: 80

$ kubectl get svc -n ingress-nginx
NAME            TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx   NodePort   10.110.159.163   <none>        80:30521/TCP,443:32024/TCP   102m

访问http：http://auth.yangguoxiang.com:30521/
返回：Hello MyApp | Version: 1.0 | Pod Name
认证账号：foo
密码：123456（前面创建时设定的）

Nginx 进行重写

名称	描述	值
nginx.ingress.kubernetes.io/rewrite-target	必须重定向流量的目标URI	串
nginx.ingress.kubernetes.io/ssl-redirect	指示位置部分是否仅可访问SSL(当Ingress包含证书时默认为True)	布尔
nginx.ingress.kubernetes.io/force-ssl-redirect	即使Ingress未启用TLS，也强制重定向到HTTPS	布尔
nginx.ingress.kubernetes.io/app-root	定义Controller必须重定向的应用程序根，如果它在’/‘上下文中	串
nginx.ingress.kubernetes.io/use-regex	指示Ingress上定义的路径是否使用正则表达式	布尔

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: nginx-test
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: https://www3.yangguoxiang.com:32024
spec:
  rules:
  - host: re.yangguoxiang.com
    http:
      paths:
      - path: /
        backend:
          serviceName: nginx-svc-1
          servicePort: 80

访问：http://re.yangguoxiang.com:30521
跳转：https://www3.yangguoxiang.com:32024
返回：Hello MyApp | Version: 1.0 | Pod Name

示例说明

Ingress HTTP 代理示例

网络设计图：

cat <<EOF >./nginx-dm-1.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: nginx-dm-1
spec:
  replicas: 2
  template:
    metadata:
      labels:
        name: nginx-1
    spec:
      containers:
        - name: nginx-1
          image: hub.yangguoxiang.com/library/myapp:v1.0
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-svc-1
spec:
  ports:
    - port: 80
      targetPort: 80
      protocol: TCP
  selector:
    name: nginx-1
EOF

cat <<EOF >./nginx-dm-2.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: nginx-dm-2
spec:
  replicas: 2
  template:
    metadata:
      labels:
        name: nginx-2
    spec:
      containers:
        - name: nginx-2
          image: hub.yangguoxiang.com/library/myapp:v2.0
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-svc-2
spec:
  ports:
    - port: 80
      targetPort: 80
      protocol: TCP
  selector:
    name: nginx-2
EOF

cat <<EOF >./nginx-ingress.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: nginx-ingress-1
spec:
  rules:
    - host: www1.yangguoxiang.com
      http:
        paths:
        - path: /
          backend:
            serviceName: nginx-svc-1
            servicePort: 80
---
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: nginx-ingress-2
spec:
  rules:
    - host: www2.yangguoxiang.com
      http:
        paths:
        - path: /
          backend:
            serviceName: nginx-svc-2
            servicePort: 80
EOF

$ kubectl apply -f nginx-dm-1.yaml 
deployment.extensions/nginx-dm-1 created
service/nginx-svc-1 created
$ kubectl apply -f nginx-dm-2.yaml
deployment.extensions/nginx-dm-2 created
service/nginx-svc-2 created 
$ kubectl apply -f nginx-ingress.yaml 
ingress.extensions/nginx-ingress-1 created
ingress.extensions/nginx-ingress-2 created
$ kubectl get pod -n ingress-nginx
NAME                                        READY   STATUS    RESTARTS   AGE
nginx-ingress-controller-6dc8b6fc95-mvw6s   1/1     Running   0          94m
$ kubectl exec -it nginx-ingress-controller-6dc8b6fc95-mvw6s -n ingress-nginx -- /bin/bash
/etc/nginx$ cat nginx.conf | grep 'www1' -A 30
$ kubectl get svc -n ingress-nginx
NAME            TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx   NodePort   10.110.159.163   <none>        80:30521/TCP,443:32024/TCP   102m

访问：http://www1.yangguoxiang.com:30521/
返回：Hello MyApp | Version: 1.0 | Pod Name
访问：http://www2.yangguoxiang.com:30521/
返回：Hello MyApp | Version: 2.0 | Pod Name

Ingress HTTPS 代理示例

基于 Ingress HTTP 示例继续

创建证书

$ openssl req -x509 -sha256 -nodes -days 365 \
-newkey rsa:2048 -keyout tls.key -out tls.crt \
-subj "/CN=nginxsvc/O=nginxsvc"
$ kubectl create secret tls tls-secret --key tls.key --cert tls.crt

cat <<EOF >./nginx-dm-3.yaml
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: nginx-dm-3
spec:
  replicas: 2
  template:
    metadata:
      labels:
        name: nginx-3
    spec:
      containers:
        - name: nginx-3
          image: hub.yangguoxiang.com/library/myapp:v3.0
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-svc-3
spec:
  ports:
    - port: 80
      targetPort: 80
      protocol: TCP
  selector:
    name: nginx-3
EOF

cat <<EOF >./nginx-ingress-https.yaml
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: nginx-ingress-https
spec:
  tls:
    - hosts:
      - www3.yangguoxiang.com
      secretName: tls-secret
  rules:
    - host: www3.yangguoxiang.com
      http:
        paths:
        - path: /
          backend:
            serviceName: nginx-svc-3
            servicePort: 80
EOF

$ kubectl apply -f nginx-dm-3.yaml
deployment.extensions/nginx-dm-3 created
service/nginx-svc-3 created
$ kubectl apply -f nginx-ingress-https.yaml
ingress.extensions/nginx-ingress-https created
$ kubectl get svc -n ingress-nginx
NAME            TYPE       CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
ingress-nginx   NodePort   10.110.159.163   <none>        80:30521/TCP,443:32024/TCP   102m

访问https：https://www3.yangguoxiang.com:32024/
返回：Hello MyApp | Version: 3.0 | Pod Name
访问http：http://www3.yangguoxiang.com:30521/
返回：Hello MyApp | Version: 3.0 | Pod Name