- 1、HAProxy是什么
- 2、HAProxy的核心功能
- 3、HAProxy的关键特性
- 4、HAProxy的安装及运行
- CentOS7中安装和运行HAProxy最新稳定版(1.7.5)的方法">A: CentOS7中安装和运行HAProxy最新稳定版(1.7.5)的方法
- B: Ubuntu18.04安装haproxy2 (支持多进程,多线程)
- 5、使用HAProxy搭建L7负载均衡器 (以ubuntu为例)
- 6、HAProxy搭建L4负载均衡器
- 7、HAProxy关键配置
- global区域
- defautls区域
- frontend区域
- backend区域
1、HAProxy是什么
HAProxy是一个免费的负载均衡软件,可以运行于大部分主流的Linux操作系统上。
HAProxy提供了L4(TCP)和L7(HTTP)两种负载均衡能力,具备丰富的功能。HAProxy的社区非常活跃,版本更新快速(最新稳定版1.7.2于2017/01/13推出)。最关键的是,HAProxy具备媲美商用负载均衡器的性能和稳定性。
因为HAProxy的上述优点,它当前不仅仅是免费负载均衡软件的首选,更几乎成为了唯一选择。
2、HAProxy的核心功能
- 负载均衡: L4和L7两种模式,支持丰富的负载均衡算法,如RR,IP Hash/URI Hash/URL_PARAM Hash等
- 健康检查:支持TCP和HTTP两种健康检查模式
- 会话保持:对于未实现会话共享的应用集群,可通过Insert Cookie/Rewrite Cookie/Prefix Cookie,以及上述的多种Hash方式实现会话保持
- SSL:HAProxy可以解析HTTPS协议,并能够将请求解密为HTTP后向后端传输
- HTTP请求重写与重定向
- 监控与统计:HAProxy提供了基于Web的统计信息页面,展现健康状态和流量数据。基于此功能,使用者可以开发监控程序来监控HAProxy的状态
3、HAProxy的关键特性
A: 性能
- 采用单线程、事件驱动、非阻塞模型,减少上下文切换的消耗
- O(1)复杂度的事件检查器,零拷贝转发,单缓存Single-buffereing
B: 稳定性
HAProxy的大部分工作都是在操作系统内核完成的,所以HAProxy的稳定性主要依赖于操作系统
- 使用3.x内核的Linux操作系统运行HAProxy
- 运行HAProxy的主机上不要部署其他的应用,确保HAProxy独占资源
- 至少为HAProxy配备一台备机
- sysctl的建议配置
net.ipv4.tcp_tw_reuse = 1net.ipv4.ip_local_port_range = 1024 65023net.ipv4.tcp_max_syn_backlog = 10240net.ipv4.tcp_max_tw_buckets = 400000net.ipv4.tcp_max_orphans = 60000net.ipv4.tcp_synack_retries = 3net.core.somaxconn = 10000
4、HAProxy的安装及运行
A: CentOS7中安装和运行HAProxy最新稳定版(1.7.5)的方法
为HAProxy创建用户和用户组,此例中用户和用户组都是"ha"。注意,如果想要让HAProxy监听1024以下的端口,则需要以root用户来启动
编译安装HAProxy
wget http://www.haproxy.org/download/1.7/src/haproxy-1.7.5.tar.gztar -xf haproxy-1.7.5.tar.gzcd haproxy-1.7.5make TARGET=linux2628 PREFIX=/usr/local/haproxymake install PREFIX=/usr/local/haproxy#安装成功后,查看版本/usr/local/haproxy/sbin/haproxy -v
创建HAProxy配置文件
mkdir /etc/haproxycat > /etc/haproxy/haproxy.cfg << -EOFglobal #全局属性log 127.0.0.1 local3 infochroot /usr/local/haproxy#用户与用户组user haproxygroup haproxydaemon #以daemon方式在后台运行maxconn 256 #最大同时256连接pidfile /usr/local/haproxy/haproxy.pid #指定保存HAProxy进程号的文件defaults #默认参数log globalmode httpoption httplogoption dontlognulltimeout connect 5000ms #连接server端超时5stimeout client 50000ms #客户端响应超时50stimeout server 50000ms #server端响应超时50sfrontend http-in #前端服务http-inbind *:8080 #监听8080端口default_backend servers #请求转发至名为"servers"的后端服务backend servers #后端服务serversserver server1 127.0.0.1:8000 maxconn 32 #backend servers中只有一个后端服务,名字叫server1,起在本机的8000端口,HAProxy同时最多向这个服务发起32个连接EOF
创建HAProxy启动脚本
cp /usr/local/haproxy/sbin/haproxy /usr/sbin/cp ./examples/haproxy.init /etc/init.d/haproxychmod 755 /etc/init.d/haproxy#创建用户useradd -r haproxy#权限chown -R haproxy.haproxy /etc/haproxy /usr/local/haproxy
vi /etc/init.d/haproxy#! /bin/shset -ePATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/haproxy/sbinPROGDIR=/usr/local/haproxyPROGNAME=haproxyDAEMON=$PROGDIR/sbin/$PROGNAMECONFIG=$PROGDIR/conf/$PROGNAME.cfgPIDFILE=$PROGDIR/conf/$PROGNAME.pidDESC="HAProxy daemon"SCRIPTNAME=/etc/init.d/$PROGNAME# Gracefully exit if the package has been removed.test -x $DAEMON || exit 0start(){echo -e "Starting $DESC: $PROGNAME\n"$DAEMON -f $CONFIGecho "."}stop(){echo -e "Stopping $DESC: $PROGNAME\n"haproxy_pid="$(cat $PIDFILE)"kill $haproxy_pidecho "."}restart(){echo -e "Restarting $DESC: $PROGNAME\n"$DAEMON -f $CONFIG -p $PIDFILE -sf $(cat $PIDFILE)echo "."}case "$1" instart)start;;stop)stop;;restart)restart;;*)echo "Usage: $SCRIPTNAME {start|stop|restart}" >&2exit 1;;esacexit 0
添加日志
#为rsyslog添加haproxy日志的配置vi /etc/rsyslog.d/haproxy.conf$ModLoad imudp$UDPServerRun 514$FileCreateMode 0644 #日志文件的权限$FileOwner haproxy #日志文件的ownerlocal3.* /var/log/haproxy.log #local3接口对应的日志输出文件
修改rsyslog的启动参数
vi /etc/sysconfig/rsyslog# Options for rsyslogd# Syslogd options are deprecated since rsyslog v3.# If you want to use them, switch to compatibility mode 2 by "-c 2"# See rsyslogd(8) for more detailsSYSLOGD_OPTIONS="-c 2 -r -m 0"
启rsyslog和HAProxy
service rsyslog restartservice haproxy restart
用logrotate进行日志切分
通过rsyslog输出的日志是不会进行切分的,所以需要依靠Linux提供的logrotate(Linux系统Logrotate服务介绍)来进行切分工作
使用root用户,创建haproxy日志切分配置文件
mkdir /root/logrotatevi /root/logrotate/haproxy/var/log/haproxy.log { #切分的两个文件名daily #按天切分rotate 7 #保留7份create 0644 ha ha #创建新文件的权限、用户、用户组compress #压缩旧日志delaycompress #延迟一天压缩missingok #忽略文件不存在的错误dateext #旧日志加上日志后缀sharedscripts #切分后的重启脚本只运行一次postrotate #切分后运行脚本重载rsyslog,让rsyslog向新的日志文件中输出日志/bin/kill -HUP $(/bin/cat /var/run/syslogd.pid 2>/dev/null) &>/dev/nullendscript}
0 0 * * * /usr/sbin/logrotate /root/logrotate/haproxy
https://centos.pkgs.org/ 搜索haproxy的rpm包
B: Ubuntu18.04安装haproxy2 (支持多进程,多线程)
root@haproxy01:~# cat /etc/apt/sources.listdeb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic main restricted universe multiversedeb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-updates main restricted universe multiversedeb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-backports main restricted universe multiversedeb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ bionic-security main restricted universe multiverse
apt-get install --no-install-recommends software-properties-commonadd-apt-repository ppa:vbernat/haproxy-2.0apt -y updateapt-cache madison haproxyapt-get -y install haproxy=2.0.\*root@haproxy01:~# systemctl start haproxyroot@haproxy01:~# systemctl status haproxy● haproxy.service - HAProxy Load BalancerLoaded: loaded (/lib/systemd/system/haproxy.service; enabled; vendor preset: enabled)Active: active (running) since Thu 2021-03-25 07:34:24 UTC; 24s agoDocs: man:haproxy(1)file:/usr/share/doc/haproxy/configuration.txt.gzMain PID: 12475 (haproxy)Tasks: 3 (limit: 2321)CGroup: /system.slice/haproxy.service├─12475 /usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -S /run/haproxy-master.sock└─12488 /usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -S /run/haproxy-master.sockMar 25 07:34:24 haproxy01 systemd[1]: Starting HAProxy Load Balancer...Mar 25 07:34:24 haproxy01 haproxy[12475]: [NOTICE] 083/073424 (12475) : New worker #1 (12488) forkedMar 25 07:34:24 haproxy01 systemd[1]: Started HAProxy Load Balancer.root@haproxy01:~# ps aux|grep haproxyroot 12475 0.0 0.4 132464 9648 ? Ss 07:34 0:00 /usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -S /run/haproxy-master.sockhaproxy 12488 0.0 0.1 132464 3828 ? Sl 07:34 0:00 /usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /run/haproxy.pid -S /run/haproxy-master.sock
二进制安装: https://blog.csdn.net/liuhaoy/article/details/103915064
5、使用HAProxy搭建L7负载均衡器 (以ubuntu为例)
- 负载均衡
- 会话保持
- 健康检查
- 根据URI前缀向不同的后端集群转发
- 监控页面
架构中共有6个后端服务,划分为3组,每组中2个服务:
- ms1:服务URI前缀为ms1/的请求
- ms2:服务URI前缀为ms2/的请求
- def:服务其他请求
健康检查页面healthCheck.html,确保通过http://ip:port/healthCheck.html可以访问到这个页面
HAProxy配置文件:globaldaemonmaxconn 30000 #ulimit -n至少为60018user haproxypidfile /usr/local/haproxy/conf/haproxy.pidlog 127.0.0.1 local0 infolog 127.0.0.1 local1 warningdefaultsmode httplog globaloption http-keep-alive #使用keepAlive连接option forwardfor #记录客户端IP在X-Forwarded-For头域中option httplog #开启httplog,HAProxy会记录更丰富的请求信息timeout connect 5000mstimeout client 10000mstimeout server 50000mstimeout http-request 20000ms #从连接创建开始到从客户端读取完整HTTP请求的超时时间,用于避免类DoS攻击option httpchk GET /healthCheck.html #定义默认的健康检查策略frontend http-inbind *:9001maxconn 30000 #定义此端口上的maxconnacl url_ms1 path_beg -i /ms1/ #定义ACL,当uri以/ms1/开头时,ACL[url_ms1]为trueacl url_ms2 path_beg -i /ms2/ #同上,url_ms2use_backend ms1 if url_ms1 #当[url_ms1]为true时,定向到后端服务群ms1中use_backend ms2 if url_ms2 #当[url_ms2]为true时,定向到后端服务群ms2中default_backend default_servers #其他情况时,定向到后端服务群default_servers中backend ms1 #定义后端服务群ms1balance roundrobin #使用RR负载均衡算法cookie HA_STICKY_ms1 insert indirect nocache #会话保持策略,insert名为"HA_STICKY_ms1"的cookie#定义后端server[ms1.srv1],请求定向到该server时会在响应中写入cookie值[ms1.srv1]#针对此server的maxconn设置为300#应用默认健康检查策略,健康检查间隔和超时时间为2000ms,两次成功视为节点UP,三次失败视为节点DOWNserver ms1.srv1 192.168.8.111:8080 cookie ms1.srv1 maxconn 300 check inter 2000ms rise 2 fall 3server ms1.srv2 192.168.8.112:8080 cookie ms1.srv2 maxconn 300 check inter 2000ms rise 2 fall 3backend ms2 #定义后端服务群ms2balance roundrobincookie HA_STICKY_ms2 insert indirect nocacheserver ms2.srv1 192.168.8.111:8081 cookie ms2.srv1 maxconn 300 check inter 2000ms rise 2 fall 3server ms2.srv2 192.168.8.112:8081 cookie ms2.srv2 maxconn 300 check inter 2000ms rise 2 fall 3backend default_servers #定义后端服务群default_serversbalance roundrobincookie HA_STICKY_def insert indirect nocacheserver def.srv1 192.168.8.111:8082 cookie def.srv1 maxconn 300 check inter 2000ms rise 2 fall 3server def.srv2 192.168.8.112:8082 cookie def.srv2 maxconn 300 check inter 2000ms rise 2 fall 3listen stats #定义监控页面bind *:1080 #绑定端口1080stats refresh 30s #每30秒更新监控数据stats uri /stats #访问监控页面的uristats realm HAProxy\ Stats #监控页面的认证提示stats auth admin:admin #监控页面的用户名和密码
6、HAProxy搭建L4负载均衡器
以L4模式运行的HAProxy,无法实现根据URL向不同后端转发、通过cookie实现会话保持等功能,在L4模式下工作的HAProxy也无法提供监控页面
globaldaemonmaxconn 30000 #ulimit -n至少为60018user hapidfile /home/ha/haproxy/conf/haproxy.pidlog 127.0.0.1 local0 infolog 127.0.0.1 local1 warningdefaultsmode tcplog globaloption tcplog #开启tcplogtimeout connect 5000mstimeout client 10000mstimeout server 10000ms #TCP模式下,应将timeout client和timeout server设置为一样的值,以防止出现问题option httpchk GET /healthCheck.html #定义默认的健康检查策略frontend http-inbind *:9002maxconn 30000 #定义此端口上的maxconndefault_backend default_servers #请求定向至后端服务群default_serversbackend default_servers #定义后端服务群default_serversbalance roundrobinserver def.srv1 192.168.8.111:8082 maxconn 300 checkserver def.srv2 192.168.8.112:8082 maxconn 300 check
7、HAProxy关键配置
global:用于配置全局参数default:用于配置所有frontend和backend的默认属性frontend:用于配置前端服务(即HAProxy自身提供的服务)实例backend:用于配置后端服务(即HAProxy后面接的服务)实例组listen:frontend+backend的组合配置,可以理解成更简洁的配置方法
global区域
daemon:指定HAProxy以后台模式运行,通常情况下都应该使用这一配置user [username] :指定HAProxy进程所属的用户group [groupname] :指定HAProxy进程所属的用户组log [address] [device] [maxlevel] [minlevel]:日志输出配置,如log 127.0.0.1 local0 info warning,即向本机rsyslog或syslog的local0输出info到warning级别的日志。其中[minlevel]可以省略。HAProxy的日志共有8个级别,从高到低为emerg/alert/crit/err/warning/notice/info/debugpidfile :指定记录HAProxy进程号的文件绝对路径。主要用于HAProxy进程的停止和重启动作。maxconn :HAProxy进程同时处理的连接数,当连接数达到这一数值时,HAProxy将停止接收连接请求
defautls区域
option redispatch 当server Id对应的服务器挂掉后,强制定向到其他健康的服务器,重新派发option abortonclose 当服务器负载很高的时候,自动结束掉当前队列处理比较久的连接,关闭option http-keep-alive #开启与客户端的会话连接option forwardfor #透传客户端真实IP到后端web服务器option httplog #开启httplog,HAProxy将会以类似Apache HTTP或Nginx的格式来记录请求日志mode http #设置默认工作类型为httptimeout http-keep-alive 120s #session会话保持超时时间,范围内转发到相同的后端服务器timeout connect 120s #客户端请求从haproxy到后端server的最长连接等待时间timeout client 600s #设置haproxy与客户端的最长非活动时间timeout server 600s #客户端请求从haproxy到后端服务器的请求处理超时时长timeout check 5s #对后端默认的检测超时时间log:同global域的log配置,仅应用于此frontend。如果要沿用global域的log配置,则此处配置为log global
frontend区域
acl [name] [criterion] [flags] [operator] [value]:定义一条ACL,ACL是根据数据包的指定属性以指定表达式计算出的true/false值。如"acl url_ms1 path_beg -i /ms1/"定义了名为url_ms1的ACL,该ACL在请求uri以/ms1/开头(忽略大小写)时为truebind [ip]:[port]:frontend服务监听的端口default_backend [name]:frontend对应的默认backenddisabled:禁用此frontendhttp-request [operation] [condition]:对所有到达此frontend的HTTP请求应用的策略,例如可以拒绝、要求认证、添加header、替换header、定义ACL等等。http-response [operation] [condition]:对所有从此frontend返回的HTTP响应应用的策略,大体同上maxconn:同global域的maxconn,仅应用于此frontenduse_backend [backend] if|unless [acl]:与ACL搭配使用,在满足/不满足ACL时转发至指定的backendacl invalid_src src 172.16.141.99 # 定义名称为 invalid_src 的 ACL 名称block if invalid_src # 对源地址符合 invalid_src 的地址进行 block 操作errorfile 403 /etc/fstab # 错误页定向为 /etc/fstab
backend区域
acl:同frontend域balance [algorithm]:在此backend下所有server间的负载均衡算法,常用的有roundrobin和source,完整的算法说明见官方文档configuration.html#4.2-balancecookie:在backend server间启用基于cookie的会话保持策略,最常用的是insert方式,如cookie HA_STICKY_ms1 insert indirect nocache,指HAProxy将在响应中插入名为HA_STICKY_ms1的cookie,其值为对应的server定义中指定的值,并根据请求中此cookie的值决定转发至哪个server。indirect代表如果请求中已经带有合法的HA_STICK_ms1 cookie,则HAProxy不会在响应中再次插入此cookie,nocache则代表禁止链路上的所有网关和缓存服务器缓存带有Set-Cookie头的响应。default-server:用于指定此backend下所有server的默认设置。具体见下面的server配置。disabled:禁用此backendhttp-request/http-response:同frontend域log:同frontend域mode:同frontend域option forwardfor:同frontend域option http-keep-alive:同frontend域option httpclose:同frontend域option httpchk [METHOD] [URL] [VERSION]:定义以http方式进行的健康检查策略。如option httpchk GET /healthCheck.html HTTP/1.1option httplog:同frontend域option tcplog:同frontend域server [name] [ip]:[port] [params]:定义backend中的一个后端server,[params]用于指定这个server的参数,常用的包括有:check:指定此参数时,HAProxy将会对此server执行健康检查,检查方法在option httpchk中配置。同时还可以在check后指定inter, rise, fall三个参数,分别代表健康检查的周期、连续几次成功认为server UP,连续几次失败认为server DOWN,默认值是inter 2000ms rise 2 fall 3cookie [value]:用于配合基于cookie的会话保持,如cookie ms1.srv1代表交由此server处理的请求会在响应中写入值为ms1.srv1的cookie(具体的cookie名则在backend域中的cookie设置中指定)maxconn:指HAProxy最多同时向此server发起的连接数,当连接数到达maxconn后,向此server发起的新连接会进入等待队列。默认为0,即无限maxqueue:等待队列的长度,当队列已满后,后续请求将会发至此backend下的其他server,默认为0,即无限weight:server的权重,0-256,权重越大,分给这个server的请求就越多。weight为0的server将不会被分配任何新的连接。所有server默认weight为1timeout connect [time]:指HAProxy尝试与backend server创建连接的超时时间timeout check [time]:默认情况下,健康检查的连接+响应超时时间为server命令中指定的inter值,如果配置了timeout check,HAProxy会以inter作为健康检查请求的连接超时时间,并以timeout check的值作为健康检查请求的响应超时时间timeout server [time]:指backend server响应HAProxy请求的超时时间
8、haproxy实现request请求重定向
关于haproxy 请求重定向主要会用到:1. redirect ;2. redir 这两类重定向配置语法
http-request redirect location ] [
9、HAProxy实现动静分离
frontend westos *:80 acl url_static path_beg -i /images acl url_static path_end -i .jpg .gif .png use_backend static if url_static default_backend app (默认访问app)#backend:定义后端服务器集群backend static (静态) #balance roundrobin server web2 172.25.42.14:80 checkbackend app #balance roundrobin server web1 172.25.42.13:80 check server local 172.25.42.12:8000 backup (如果后端real server down掉 则调度报错页面 但是正常情况下不会访问 因为 是“backup”)
10、HAProxy https配置
证书文件为PEM格式,要求把私钥和证书文件放在一起
bind *:443 ssl crt /PATH/TO/SOME_PEM_FILE
frontend LB_http bind 10.123.122.112:80 reqadd X-Forwarded-Proto:\ http default_backend LBfrontend LB_https bind 10.123.122.112:443 ssl crt /usr/local/apache2/conf/server.pem reqadd X-Forwarded-Proto:\ https default_backend LBbackend LB redirect scheme https if !{ ssl_fc } mode http stats enable stats hide-version stats uri /stats stats realm Haproxy\ Statistics stats auth haproxy:redhat # Credentials for HAProxy Statistic report page. balance roundrobin # Load balancing will work in round-robin process. option httpchk option httpclose option forwardfor server myserver.domain.com myserver.domain.com:80 # backend server.
11、使用Keepalived实现HAProxy高可用
搭建HAProxy主备集群
1) 安装Keepalived
注意:Keepalived需要使用root用户进行安装和配置
wget http://www.keepalived.org/software/keepalived-1.2.19.tar.gztar -xzf keepalived-1.2.19.tar.gz./configure --prefix=/usr/local/keepalivedmakemake install
cp /usr/local/keepalived/sbin/keepalived /usr/sbin/cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/chmod +x /etc/init.d/keepalived
2) 配置Keepalived
yum intall psmisc -ymkdir -p /etc/keepalived/cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/vi /etc/keepalived/keepalived.conf
global_defs { router_id LVS_DEVEL #虚拟路由名称}#HAProxy健康检查配置vrrp_script chk_haproxy { script "killall -0 haproxy" #使用killall -0检查haproxy实例是否存在,性能高于ps命令 interval 2 #脚本运行周期 weight 2 #每次检查的加权权重值}#虚拟路由配置vrrp_instance VI_1 { state MASTER #本机实例状态,MASTER/BACKUP,备机配置文件中请写BACKUP interface eth0 #本机网卡名称,使用ifconfig命令查看 virtual_router_id 51 #虚拟路由编号,主备机保持一致 priority 101 #本机初始权重,备机请填写小于主机的值(例如100) advert_int 1 #争抢虚地址的周期,秒 virtual_ipaddress { 192.168.31.201 dev eth0 #虚地址IP,主备机保持一致 } track_script { chk_haproxy #对应的健康检查配置 }}
global_defs { router_id LVS_DEVEL #虚拟路由名称}#HAProxy健康检查配置vrrp_script chk_haproxy { script "killall -0 haproxy" #使用killall -0检查haproxy实例是否存在,性能高于ps命令 interval 2 #脚本运行周期 weight 3 #每次检查的加权权重值}#虚拟路由配置vrrp_instance VI_1 { state BACKUP #本机实例状态,MASTER/BACKUP,备机配置文件中请写BACKUP interface eth0 #本机网卡名称,使用ifconfig命令查看 virtual_router_id 51 #虚拟路由编号,主备机保持一致 priority 99 #本机初始权重,备机请填写小于主机的值(例如100) advert_int 1 #争抢虚地址的周期,秒 virtual_ipaddress { 192.168.31.201 dev eth0 #虚地址IP,主备机保持一致 } track_script { chk_haproxy #对应的健康检查配置 }}
