在通过 Nginx 构建 服务集群后， 为保证Nginx服务的高可用性， 配备第二台Nginx 作为后备， 通过keepalived虚拟路由实现双机主备，最终实现内网环境下高可用服务集群。

  • 方案如下图所示：

image.png

环境准备，

  • 两台服务器，本文以虚拟机为例。域名通过手动修改hosts文件绑定到ip
    • 主服务器 IP：192.168.61.135
    • 备用服务器 IP：192.168.61.130
    • 虚拟IP 192.168.61.132 自行设置
  • 服务分别安装并启动nginx，并修改首页。
    • Nginx 安装教程： https://www.yuque.com/u1949579/af0ak9/yhwhst
    • 防火墙开放80端口 firewall-cmd --zone=public --add-port=80/tcp --permanent
    • nginx开启自启 systemctl enable nginx
    • 启动nginx systemctl start nginx
    • 修改首页 效果如下
    • image.png
    • image.png
  • 服务器分别安装keepalived

编写Nginx自动重启脚本

注意： 主备之间都需要编写该文件。
**

  • 脚本中使用到的非linux默认安装的命令
    • 安装killall 命令 yum install -y psmisc
    • 安装 netstat 命令 yum install -y net-tools

在keepalived配置文件存放目录中创建脚本 vim /etc/keepalived/chk_nginx.sh

  1. #!/bin/bash
  2. # 这种方式是查询nginx的进程
  3. #A=`ps -C nginx --no-header | wc -l`
  4. # 这种方式是查询nginx的端口
  5. A=`netstat -tnlp | grep nginx | wc -l`
  6. if [ $A -eq 0 ];then
  7.                 # 启动Nginx ，根据你自己的路径启动
  8.         /usr/local/nginx/sbin/nginx
  9.         sleep 2
  10.         #if [ `ps -C nginx --no-header | wc -l` -eq 0 ];then
  11.         if [ `netstat -tnlp | grep nginx | wc -l` -eq 0 ];then
  12.                 killall keepalived
  13.         fi
  14. fi

使用 chmod +x ``/etc/keepalived/chk_nginx.sh 赋予文件执行权限

修改keepalived.conf 配置文件

vim /etc/keepalived/keepalived.conf

  • 主机配置如下 ```bash ! Configuration File for keepalived

    全局配置

    global_defs { router_id keep_135 #路由ID,局域网内应唯一 script_user root #运行脚本的用户,避免 WARNING - default user ‘keepalived_script’ for script execution does not exist - please create. enable_script_security #避免SECURITY VIOLATION警告 }

脚本检测

vrrp_script check_nginx_alived {

  1. #脚本路径
  2. script "/etc/keepalived/chk_nginx.sh"

脚本运行间隔

interval 2

如果脚本运行成功，则升权+10,如果配置负数(-10),则运行失败，降权。

weight 10 }

虚拟路由配置

vrrp_instance VI_1 { state MASTER #初始情况下的主备状态 interface ens33 #网卡文件名，注意应填写你的主机使用的网卡名称 virtual_router_id 51 #虚拟路由id，主备应保持一致 priority 100 #权重，发生主备切换时成为主机的优先级 advert_int 1 #侦测心跳，单位s

  1. #鉴权配置
  2. authentication {
  3.     auth_type PASS  #鉴权类型 PASS
  4.     auth_pass 1111  #密码
  5. }
  6. #脚本追踪
  7. track_script {
  8.         #对应vrrp_script 的name
  9.         check_nginx_alived
  10. }
  11. #虚拟IP，可以有多个，一行一个，主备之间应保持一致
  12. virtual_ipaddress {
  13.     192.168.61.132
  14. }

}

  2. - 备用机配置如下
  3. ```bash
  4. ! Configuration File for keepalived
  5. #全局配置
  6. global_defs {
  7.    router_id keep_130 #路由ID,局域网内应唯一
  8.    script_user root #运行脚本的用户,避免 WARNING - default user 'keepalived_script' for script execution does not exist - please create.
  9.    enable_script_security #避免SECURITY VIOLATION警告
  10. }
  12. #脚本检测
  13. vrrp_script check_nginx_alived {
  14.     #脚本路径
  15.     script "/etc/keepalived/chk_nginx.sh"
  16.   # 脚本运行间隔
  17.   interval 2
  18.   # 如果脚本运行成功，则升权+10,如果配置负数(-10),则运行失败，降权。
  19.   weight 10
  20. }
  22. #虚拟路由配置
  23. vrrp_instance VI_1 {
  24.     state MASTER #初始情况下的主备状态
  25.     interface ens33   #网卡文件名，注意应填写你的主机使用的网卡名称
  26.     virtual_router_id 51   #虚拟路由id，主备应保持一致
  27.     priority 80 #权重，发生主备切换时成为主机的优先级
  28.     advert_int 1 #侦测心跳，单位s
  29.     #鉴权配置
  30.     authentication {
  31.         auth_type PASS  #鉴权类型 PASS
  32.         auth_pass 1111  #密码
  33.     }
  34.     #脚本追踪
  35.     track_script {
  36.             #对应vrrp_script 的name
  37.             check_nginx_alived
  38.     }
  39.     #虚拟IP，可以有多个，一行一个，主备之间应保持一致
  40.     virtual_ipaddress {
  41.         192.168.61.132
  42.     }
  43. }

开启服务并测试

1. 测试主备切换

分别启动主备的keepalived systemctl start keepalived
稍等两秒，使用 ip address 查看虚拟ip的映射

  • 主机

    1. ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    2.   link/ether 00:0c:29:1f:b9:16 brd ff:ff:ff:ff:ff:ff
    3.   inet 192.168.61.135/24 brd 192.168.61.255 scope global noprefixroute ens33 #真实IP
    4.      valid_lft forever preferred_lft forever
    5.   inet 192.168.61.132/32 scope global ens33  #虚拟IP
    6.      valid_lft forever preferred_lft forever
    7.   inet6 fe80::4779:a90b:d19b:8490/64 scope link noprefixroute
    8.      valid_lft forever preferred_lft forever

  • 备用机

    1. ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    2.   link/ether 00:0c:29:73:d8:b4 brd ff:ff:ff:ff:ff:ff
    3.   inet 192.168.61.130/24 brd 192.168.61.255 scope global noprefixroute dynamic ens33  #真实IP
    4.      valid_lft 1594sec preferred_lft 1594sec
    5.   inet 192.168.61.132/32 scope global ens33  #虚拟IP
    6.      valid_lft forever preferred_lft forever
    7.   inet6 fe80::6765:fdf6:f71b:b2f8/64 scope link noprefixroute
    8.      valid_lft forever preferred_lft forever

    访问虚拟IP 192.168.31.132
    image.png
    当前指向主节点
    到主节点服务器下运行 systemctl stop keepalived 关闭主节点再次访问，
    image.png
    重新开启主节点后又恢复到主节点。由于没有配置非抢占，默认情况下主备之间将进行抢占，主要能访问到服务即可。

2. 测试Nginx自动重启

以主节点为例， 本例中ip192.168.61.135为主节点
打开两个ssh远程页面，其中一台输入 tail -f -n 50 /var/log/messages 动态查看系统消息
另外一台关闭nginx nginx -s stop
可以看到nginx仍然是可以访问的，日志显示 脚本运行成功
image.png

配置nginx-tomcat服务集群

本地另外两台虚拟机分别搭建tomcat服务并启动

  • 192.168.61.128:8080
  • 192.168.61.129:8080

nginx 配置如下 : 仅展示关键部分

  1. upstream tomcats {
  2.         server 192.168.61.128:8080;
  3.         server 192.168.61.129:8080;
  4. }
  5. server {
  7.         listen 80;
  8.         server_name localhost;
  9.         charset utf-8;
  11.         location / {
  12.                 proxy_pass http://tomcats;
  13.         }
  14. }

现在我们就能通过虚拟ip 192.168.61.132 访问tomcat提供的服务了。
实现内网环境下 keepalived + nginx + tomcat的高可用web服务集群了。
image.png
image.png