Docker Swarm 集群搭建

现阶段，容器技术已经相当成熟了，就算是中小型公司，也可以基于 Gitlab、Aliyun 镜像仓库服务 和 Docker Swarm 轻松搭建自己的 Docker 集群服务。

安装 Docker

  1. curl -sSL https://get.daocloud.io/docker | sh
  2. # curl -sSL https://get.docker.com/ | sh

修改文件 /lib/systemd/system/docker.service，允许使用 TCP 连接 Docker

  1. ExecStart=/usr/bin/dockerd -H unix:// -H tcp://0.0.0.0:2375

配置仓库镜像地址

基于跨国线路访问速度过慢等问题，我们可以为 Docker 配置仓库镜像地址，来改善这些网络问题，如 阿里云(Aliyun) Docker 镜像加速器，我们可以申请一个 Docker 加速器，然后配置到服务器上的 /etc/docker/daemon.json 文件，添加以下内容，然后重启 Docker，下面的地址请填写您自己获得的加速器地址。

  1. {"registry-mirrors": ["https://xxxxx.mirror.aliyuncs.com"]}

搭建 Gitlab 服务

安装 Gitlab

修改 sshd 默认端口号

首先我们需要修改一下服务器的 sshd 服务的端口号，把默认的 22 端口改为 2222 端口(或其它未被占用的端口)，这样可以让 gitlab 通过使用 22 端口来进行 ssh 连接。

  1. $ vim /etc/ssh/sshd_config
  3. # 默认 Port 改为 2222
  4. Port 2222
  6. # 重启服务
  7. $ systemctl restart sshd.service

重新登录机器

  1. ssh -p 2222 root@host

安装 Gitlab

我们来通过 Docker 启动一个 Gitlab 服务，如下：

  1. sudo docker run -d --hostname gitlab.xxx.cn \
  2. --publish 443:443 --publish 80:80 --publish 22:22 \
  3. --name gitlab --restart always --volume /srv/gitlab/config:/etc/gitlab \
  4. --volume /srv/gitlab/logs:/var/log/gitlab \
  5. --volume /srv/gitlab/data:/var/opt/gitlab \
  6. gitlab/gitlab-ce:latest

首次登录 Gitlab 需要重置密码，默认用户名为 root。

安装 gitlab-runner

这里建议与 Gitlab 服务器分开部署，专门提供单独的 runner 服务器。

我们以 CentOS 的的安装方式为例，其余可参考 Gitlab 官网文档

  1. curl -L https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.rpm.sh | sudo bash
  2. yum install gitlab-runner

当然，也可以用 curl https://setup.ius.io | sh 命令，更新为最新的 git 源，然后直接使用 yum 安装 git 和 gitlab-runner。

  1. $ curl https://setup.ius.io | sh
  2. $ yum -y install git2u
  3. $ git version
  4. $ yum install gitlab-runner

注册 gitlab-runner

通过 gitlab-runner register --clone-url http://your-ip/ 命令来将 gitlab-runner 注册到 Gitlab 上，注意要替换 your-ip 为您的 Gitlab 的内网 IP，如下：

  1. $ gitlab-runner register --clone-url http://your-ip/
  3. Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
  4. http://gitlab.xxx.cc/
  5. Please enter the gitlab-ci token for this runner:
  6. xxxxx
  7. Please enter the gitlab-ci description for this runner:
  8. xxx
  9. Please enter the gitlab-ci tags for this runner (comma separated):
  10. builder
  11. Please enter the executor: docker-ssh, shell, docker+machine, docker-ssh+machine, docker, parallels, ssh, virtualbox, kubernetes:
  12. shell

修改 gitlab-runner 并发执行个数

  1. $ vim /etc/gitlab-runner/config.toml
  2. concurrent = 5

修改邮箱

如果需要 Gitlab 发送邮件（比如用户创建的邮件等），可以尝试修改 /srv/gitlab/config/gitlab.rb

  1. gitlab_rails['smtp_enable'] = true
  2. gitlab_rails['smtp_address'] = "smtp.exmail.qq.com"
  3. gitlab_rails['smtp_port'] = 465
  4. gitlab_rails['smtp_user_name'] = "git@xxxx.com"
  5. gitlab_rails['smtp_password'] = "xxxx"
  6. gitlab_rails['smtp_authentication'] = "login"
  7. gitlab_rails['smtp_enable_starttls_auto'] = true
  8. gitlab_rails['smtp_tls'] = true
  9. gitlab_rails['gitlab_email_from'] = 'git@xxxx.com'
  10. gitlab_rails['smtp_domain'] = "exmail.qq.com"

初始化 Swarm 集群

登录另外一台机器，初始化集群

  1. $ docker swarm init

创建自定义 Overlay 网络

  1. docker network create \
  2. --driver overlay \
  3. --subnet 12.0.0.0/8 \
  4. --opt encrypted \
  5. --attachable \
  6. default-network

加入集群

  1. # 显示manager节点的TOKEN
  2. $ docker swarm join-token manager
  3. # 加入manager节点到集群
  4. $ docker swarm join --token <token> ip:2377
  6. # 显示worker节点的TOKEN
  7. $ docker swarm join-token worker
  8. # 加入worker节点到集群
  9. $ docker swarm join --token <token> ip:2377

然后配置发布用的 gitlab-runner

其他与 builder 一致，但是 tag 却不能一样。线上环境可以设置为 tags，测试环境设置为 test

安装其他应用

以下以 Mysql 为例，直接使用上述 network，支持容器内使用 name 互调。

  1. docker run --name mysql -v /srv/mysql:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=xxxx -p 3306:3306 --rm --network default-network -d mysql:5.7

安装 Portainer

Portainer

  1. docker service create \
  2.     --name portainer \
  3.     --publish 9000:9000 \
  4.     --replicas=1 \
  5.     --constraint 'node.role == manager' \
  6.     --mount type=volume,src=portainer_data,dst=/data \
  7.     --mount type=bind,src=//var/run/docker.sock,dst=/var/run/docker.sock \
  8.     portainer/portainer

创建一个 Demo 项目

登录 Gitlab 创建一个 Demo 项目。并导入我们的项目 hyperf-skeleton

配置镜像仓库

我们直接使用阿里云的即可

首先创建一个命名空间 test_namespace，然后创建一个镜像仓库 demo，并使用本地仓库。

然后到我们直接打包用的服务器中，登录阿里云 Docker Registry

  1. usermod -aG docker gitlab-runner
  2. su gitlab-runner
  3. docker login --username=your_name registry.cn-shanghai.aliyuncs.com

修改我们项目里的 .gitlab-ci.yml

  1. variables:
  2.   PROJECT_NAME: demo
  3.   REGISTRY_URL: registry.cn-shanghai.aliyuncs.com/test_namespace

还有 deploy.test.yml，需要仔细对比以下文件哦。

  1. version: '3.7'
  2. services:
  3.   demo:
  4.     image: $REGISTRY_URL/$PROJECT_NAME:test
  5.     environment:
  6.       - "APP_PROJECT=demo"
  7.       - "APP_ENV=test"
  8.     ports:
  9.       - 9501:9501
  10.     deploy:
  11.       replicas: 1
  12.       restart_policy:
  13.         condition: on-failure
  14.         delay: 5s
  15.         max_attempts: 5
  16.       update_config:
  17.         parallelism: 2
  18.         delay: 5s
  19.         order: start-first
  20.     networks:
  21.       - default-network
  22.     configs:
  23.       - source: demo_v1.0
  24.         target: /opt/www/.env
  25. configs:
  26.   demo_v1.0:
  27.     external: true
  28. networks:
  29.   default-network:
  30.     external: true

然后在我们的 Portainer 中，创建对应的 Config demo_v1.0。当然，以下参数需要根据实际情况调整，因为我们的 Demo 中，没有任何 I/O 操作，所以填默认的即可。

  1. APP_NAME=demo
  3. DB_DRIVER=mysql
  4. DB_HOST=localhost
  5. DB_PORT=3306
  6. DB_DATABASE=hyperf
  7. DB_USERNAME=root
  8. DB_PASSWORD=
  9. DB_CHARSET=utf8mb4
  10. DB_COLLATION=utf8mb4_unicode_ci
  11. DB_PREFIX=
  13. REDIS_HOST=localhost
  14. REDIS_AUTH=
  15. REDIS_PORT=6379
  16. REDIS_DB=0

因为我们配置的 gitlab-ci.yml 会检测 test 分支和 tags，所以我们把修改的内容合并到 test 分支，然后推到 gitlab 上。

接下来我们就可以访问集群任意一台机器的 9501 端口。进行测试了

  1. curl http://127.0.0.1:9501/

安装 KONG 网关

通常情况下，Docker Swarm 集群是不会直接对外暴露提供访问的，所以我们可以在上层构建一个网关服务，这里推荐使用 KONG 作为网关。 还有另外一个原因是 Docker Swarm 的 Ingress 网络 存在设计的缺陷，在连接不复用的情况下，会有并发瓶颈，具体细节请查看对应的 Issue #35082 而 KONG 作为网关服务，默认情况下会复用后端的连接，所以会极大减缓上述问题。

安装数据库

  1. docker run -d --name kong-database \
  2.   --network=default-network \
  3.   -p 5432:5432 \
  4.   -e "POSTGRES_USER=kong" \
  5.   -e "POSTGRES_DB=kong" \
  6.   -e "POSTGRES_PASSWORD=kong" \
  7.   postgres:9.6

安装网关

初始化数据库

  1. docker run --rm \
  2.   --network=default-network \
  3.   -e "KONG_DATABASE=postgres" \
  4.   -e "KONG_PG_HOST=kong-database" \
  5.   -e "KONG_PG_PASSWORD=kong" \
  6.   -e "KONG_CASSANDRA_CONTACT_POINTS=kong-database" \
  7.   kong:latest kong migrations bootstrap

启动

  1. docker run -d --name kong \
  2.   --network=default-network \
  3.   -e "KONG_DATABASE=postgres" \
  4.   -e "KONG_PG_HOST=kong-database" \
  5.   -e "KONG_PG_PASSWORD=kong" \
  6.   -e "KONG_CASSANDRA_CONTACT_POINTS=kong-database" \
  7.   -e "KONG_PROXY_ACCESS_LOG=/dev/stdout" \
  8.   -e "KONG_ADMIN_ACCESS_LOG=/dev/stdout" \
  9.   -e "KONG_PROXY_ERROR_LOG=/dev/stderr" \
  10.   -e "KONG_ADMIN_ERROR_LOG=/dev/stderr" \
  11.   -e "KONG_ADMIN_LISTEN=0.0.0.0:8001, 0.0.0.0:8444 ssl" \
  12.   -p 8000:8000 \
  13.   -p 8443:8443 \
  14.   -p 8001:8001 \
  15.   -p 8444:8444 \
  16.   kong:latest

安装 KONG Dashboard

暂时 Docker 中没有更新 v3.6.0 所以最新版的 KONG 可能无法使用，可以使用 0.14.1 版本的 KONG

  1. docker run --rm --network=default-network -p 8080:8080 -d --name kong-dashboard pgbi/kong-dashboard start \
  2.   --kong-url http://kong:8001 \
  3.   --basic-auth user1=password1 user2=password2

配置 Service

接下来只需要把部署 KONG 网关的机器 IP 对外暴露访问，然后配置对应的 Service 即可。 如果机器直接对外暴露访问，那么最好只开放 80 和 443 端口，然后把 Kong 容器的 8000 和 8443 端口映射到 80 和 443 端口上。 当然，如果使用了 SLB 等负载均衡服务，也直接通过负载均衡，把 80 和 443 端口映射到 KONG 所在机器的 8000 8443 端口上。

如何使用 Linux Crontab

Hyperf 虽然提供了 crontab 组件，但可能并不一定可以满足所有人的需求，这里提供一个 Linux 下使用的脚本，来执行 Docker 内的 Command。

  1. #!/usr/bin/env bash
  2. basepath=$(cd `dirname $0`; pwd)
  3. docker pull registry-vpc.cn-shanghai.aliyuncs.com/namespace/project:latest
  4. docker run --rm -i -v $basepath/.env:/opt/www/.env \
  5. --entrypoint php registry-vpc.cn-shanghai.aliyuncs.com/namespace/project:latest \
  6. /opt/www/bin/hyperf.php your_command

内核优化

本小节内容，有待验证，谨慎使用

安装 KONG 网关时，有介绍 Ingress 网络 存在设计的缺陷，这块可以通过 优化内核 处理。

  • 指定 TLinux 源
  1. tee /etc/yum.repos.d/CentOS-TLinux.repo <<-'EOF' 
  2. [Tlinux]
  3. name=Tlinux for redhat/centos $releasever - $basearch
  4. failovermethod=priority
  5. gpgcheck=0
  6. gpgkey=http://mirrors.tencentyun.com/epel/RPM-GPG-KEY-EPEL-7
  7. enabled=1
  8. baseurl=https://mirrors.tencent.com/tlinux/2.4/tlinux/x86_64/
  9. EOF
  • 安装指定内核
  1. yum -y install kernel-devel-4.14.105-19.0012.tl2.x86_64 kernel-4.14.105-19.0013.tl2.x86_64 kernel-headers-4.14.105-19.0013.tl2.x86_64
  • 使内核生效
  1. sudo awk -F\' '$1=="menuentry " {print i++ " : " $2}' /etc/grub2.cfg
  2. grub2-set-default 0
  3. grub2-mkconfig -o /boot/grub2/grub.cfg
  • 重启机器
  1. reboot

容器参数优化

需要 Docker 19.09.0 以上支持，与 image 配置同级

  1. sysctls:
  2.   # 网络连接复用模式的选择
  3.   - net.ipv4.vs.conn_reuse_mode=0
  4.   # 当LVS转发数据包，发现目的RS无效（删除）时，会丢弃该数据包，但不删除相应连接。值为1时，则马上释放相应连接
  5.   - net.ipv4.vs.expire_nodest_conn=1

常见问题

fatal: git fetch-pack: expected shallow list

这种情况是 gitlab-runner 使用的 git 版本过低，更新 git 版本即可，如下：

  1. $ curl https://setup.ius.io | sh
  2. $ yum remove -y git
  3. $ yum -y install git2u
  4. $ git version
  6. # 重新安装 gitlab-runner 并重新注册 gitlab-runner
  7. $ yum install gitlab-runner

Service 重启后，内网出现偶发的，容器无法触达的问题，比如多次在其他容器，访问此服务的接口，会出现 Connection refused

这是由于 IP 不够用导致，可以修改网段，增加可用 IP

创建新的 Network

  1. docker network create \
  2. --driver overlay \
  3. --subnet 12.0.0.0/8 \
  4. --opt encrypted \
  5. --attachable \
  6. default-network

为服务增加新的 Network

  1. docker service update --network-add default-network service_name

删除原来的 Network

  1. docker service update --network-rm old-network service_name

为 Service 增加节点，发现一直卡在 create 阶段

原因和解决办法同上

当在 Portainer 中修改了仓库密码后，更新 Service 失败

这是因为 Portainer 修改后，不能作用于已经创建的服务，所以手动更新即可

  1. docker service update --with-registry-auth service_name