Linux Virtual Server
Linux的虚拟服务器

本章内容

  • 集群概念
  • LVS介绍
  • LVS实现

  • Idirectord

    Cluster概念

  • 系统扩展方式：

Scale UP:向上扩展，增强
Scale Out:向外扩展，增加设备，调度分配问题，Cluster

  • Cluster:集群，为解决某个特定问题将多台计算机组合起来形成的单个系统
  • Linux Cluster类型：
    • LB:Load Balancing,负载均衡
    • HA：High Availiablity,高可用，SPOF(sigle Point Of failure)

MTBF:Mean Time Between Failure 平均无故障时间
MTTR:Mean Time To Restoration ( repair ) 平均恢复前时间
A=MTBF/( MTBF+MTTR ) (0,1):99%,99.5%,99.9%,99.99%,99.999%

  • HPC:High-performance computing, 高性能 www.top500.org
    • 分布式系统：

分布式存储：云盘
分布式计算：hadoop, Spark
image.png
分布式文件系统
image.png

集群和分布式

image.png

Cluster分类

LB Cluster的实现

  • 硬件

F5 Big-IP
Citrix Netscaler
A10 A10

  • 软件

lvs: Linux Virtual Server
nginx: 支持七层调度
haproxy: 支持七层调度
ats: apache traffic server, yahoo捐助
perlbal:Perl编写
pound
F5 Big-IPimage.png

  • 基于工作的协议分层划分：
  • 传输层（ 通用 ）：DPORT

LVS:
nginx:stream
haproxy:mode tcp

  • 应用层（ 专用 ）：针对特定协议，自定义的请求模型分类

proxy server:
http: nginx,httpd,haproxy(mode http),…
fastcgi: nginx,httpd,…
mysql: mysql-proxy,…

Cluster相关

  • 会话保持：负载均衡

（1）session sticky: 同一用户调度固定服务器
Source IP: LVS sh算法（对某一特定服务而言）
Cookie
（2）seesion replication: 每台服务器拥有全部session
session multicast cluter
（3）session server: 专用的session服务器
Memcached,Redis

  • HA集群实现方案

keepalived:vrrp协议
ais:应用接口规范
heartbeat
cman+rgmanager(RHCS)
coresync_pacemaker
会话保持
image.png
专门的session服务器 会话放到redis服务器上
image.png

LVS介绍

  • LVS:Linux Virtual Server,负载调度器，集成内核 章文嵩 阿里

官网：http://www.linuxvitualserver.org/
VS:Virtual Server,负责调度
RS:Real Server,负责真正 提供服务
L4:四层路由器或交换机

  • 工作原理：VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS,根据调度算法来挑选RS
  • iptables/netfiter:

iptables:用户空间的管理工具
netfiter:内核空间上的框架
流入：PREROUTING —> INPUT
流出：OUTPUT —> FORWARD —> POSTROUTING
DNAT:目标地址转换；PREROUTING

LVS集群体系结构

image.png

LVS概念

  • LVS集群类型中的术语：
    • VS:Virtual Server, Director Server(DS)

Dispatcher(调度器)，Load Balancer

  • RS:Real Server(lvs),upstream server(nginx)

backend server(haproxy)

  • CIP:Client IP
  • VIP:Virtual serve IP VS外网的IP
  • DIP:Director IP VS内网的IP

  • RIP:Real server IP

  • 访问流程：CIP<—>VIP == DIP <—> RIP

    LVS集群的类型

  • lvs:ipvsadm/imvs

ipvsadm:用户空间的命令行工具，规则管理器 用于管理集群服务及RealServer
ipvs:工作于内核空间netfilter的INPUT钩子上的框架

  • lvs集群的类型：

lvs-nat:修改请求报文的目标IP,多目标IP的DNAT
lvs-dr:操作封装新的MAC地址
lvs-tun:在原请求IP报文之外新加一个IP首部
lvs-fullnat:修改请求报文的源和目标IP
ipvs工作位置：
image.png

Lvs-nat模式

  • lvs-nat:

本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和POST实现转发
（1）RIP和DIP应在同一个IP网络，且应使用私网地址；RS的网关要指向DIP
（2）请求报文和响应报文都必须经由Director转发，Director易于成为系统瓶颈
（3）支持端口映射，可修改请求报文的目标PORT
（4）VS必须是Linux系统，RS可以是任意OS系统

VS/NAT的体系结构

image.png
NAT工作原理
image.png

NAT模式IP包调度过程

image.png
NAT模式
image.png

LVS-DR模式

  • LVS-DR:Direct Routing,直接路由，LVS默认模式，应用最广泛，通过为请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC,目标MAC是某挑选出的RS所在接口的MAC地址；源IP/PORT,以及目标IP/PORT均保持不变

（1）Director和各RS都配置有VIP
（2）确保前端路由器将目标IP为VIP的请求报文发往Director

  1.   - 在前端网关做静态绑定VIP和Director的MAC地址
  2.   - 在RS上使用arptables工具
  3.      - arptables -A IN -d $VIP -j DROP
  4.      - arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
  5.   - 在RS上修改内核参数以限制arp通告及应答级别/proc/sys/net/ipv4/conf/all/arg_ignore      /proc/sys/net/ipv4/conf/all/arp_announce

（3）RS的RIP可以使用私网地址，也可以使用公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP,以确保响应报文不会经由Director
（4）RS和Director要在同一个物理网络
（5）请求报文要经由Director,但响应报文不经由Direcotr,而由RS直接发往Client
（6）不支持端口映射（端口不能修改）
（7）RS可使用大多数OS系统
lvs-dr工作原理：
image.png

DR模式IP包调度过程

image.png

VS/DR体系结构

image.png

lvs-tun模式

  • lvs-tun:

转发方式：不修改请求报文的IP首部（源IP为CIP,目标IP为VIP）,而在原IP报文之外再封装一个IP首部（源IP是DIP,目标IP是RIP）,将报文发往挑选出的目标RS;RS直接响应给客户端（源IP是VIP,目标IP是CIP）

  1. DIP,VIP,RIP都应该是公网地址
  2. RS的网关一版不能指向DIP
  3. 请求报文要经由Director,但响应不能经由Director
  4. 不支持端口映射
  5. RS的OS须支持隧道功能

    VS/TUN体系结构

    image.png
    image.png

    TUN模式IP包调度过程

    image.png

    lvs-fullnat模式

  • lvs-fullnat:通过同时修改请求报文的源IP地址和目标IP地址进行转发

CIP —> DIP
VIP —> RIP
(1)VIP是公网地址，RIP和DIP是私网地址，且通常不在同一IP网络；因此，RIP的网关一版不会指向DIP
(2)RS收到的请求报文源地址是DIP,因此，只需响应给DIP;但Director还要将其发往Client
(3)请求和响应报文都经由Director
(4)支持端口映射
注意：此类型kernel默认不支持

LVS工作模式总结

  1. ![image.png](https://cdn.nlark.com/yuque/0/2020/png/602328/1590112277778-1996070d-beae-428b-b4f9-7018fe7290a2.png#align=left&display=inline&height=93&margin=%5Bobject%20Object%5D&name=image.png&originHeight=186&originWidth=874&size=118634&status=done&style=none&width=437)
  • lvs-nat与lvs-fullnat:请求和响应报文都经由Director

lvs-nat:RIP的网关要指向DIP
lvs-fullnat:RIP和DIP未必在同一IP网络，但要能通信

  • lvs-dr与lvs-tun:请求报文要经由Director,但响应报文由RS直接发往Client

lvs-dr:通过封装新的MAC首部实现，通过MAC网络转发
lvs-tun:通过再原IP报文外封装新IP头实现转发，支持远距离通信

ipvs scheduler

  • ipvs scheduler:根据其调度时是否考虑各RS当前的负载状态

两种：静态方法和动态方法

  • 静态方法：仅根据算法本身进行调度
    1. RS:roundrobin,轮询
    2. WRR:Weighted RR,加权轮询
    3. SH:Sourece Hashing,实现session sticky,源IP地址hash;将来自于同一个IP地址的请求始终发往第一次挑中的RS,从而实现会话绑定
    4. DH:Destination Hashing;目标地址哈希，将发往同一各目标地址的请求始终转发至第一次挑中的RS,典型使用场景是正向代理缓存场景中的负载均衡，如：宽带运营商
  • 动态方法：主要根据每RS当前的负载状态及调度算法进行调度Overhead=value较小的RS将被调度

1、LC:least connections 适用于长连接应用
Overhead = activeconns256+inactiveconns
2、WLC:Weighted LC,默认调度方法
Overhead=(activeconns256+inactiveconns)/weight
3、SED:Shortest Expection Delay,初始连接高权重优先
Overhead=(activeconns+1)*256/weight
4、NQ：Never Queue,第一轮均匀分配，后续SED
5、LBLC:Locality-Based LC 动态的DH算法，使用场景：根据负载状态实现正向代理
6、LBLCR:LBLC with Replication,带复制功能的LBLC,解决LBLC负载不均衡问题，从负载重的复制到负载轻的RS
内核上就有调度算法
image.png

ipvs:

  • ipvsadm/ipvs:
  • ipvs:

grep -i -C 10 “ipvs” /boot/config-VERSION-RELEASE.x86_64
支持的协议：TCP,UDP，AH,ESP,AH_ESP,SCTP

  • ipvs集群：

管理集群服务
管理服务上的RS

ipvsadm包构成

  • ipvsadm:

  • 程序包：ipvsadm

    • Unit File:ipvsadm.service
    • 主程序：/usr/sbin/ipvsadm
    • 规则保存工具：/usr/sbin/ipvsadm-sava
    • 规则重载工具：/usr/sbin/ipvsadm-restore
    • 配置文件：/etc/sysconfig/ipvsadm-config

      ipvsadm命令

  • ipvsadm命令：

  • 核心功能：

集群服务管理：增、删、改
集群服务的RS管理：增、删、改
查看
ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]] [-M netmask] [—pe persistence_engine] [-b sched-flags]
ipvsadm -D -t|u|f service-address 删除
ipvsadm -C 清空
ipvsadm -R 重载
ipvsadm -S [-n] 保存
ipvsadm -a|e -t|u|f service-address -r server-address [options]
ipvsadm -d -t|u|f service-address -r server-address
ipvsadm -L|I [options]
ipvsadm -Z [-t|u|f service-address]

  • 管理集群服务：增、改、删
  • 增、改：

ipvsadm -A|E -t|u|f service-address [-s scheduler] [-p [timeout]]

  • 删除：

ipvsadm-D -t|u|f service-address

  • service-address:

-t|u|f:
-t:TCP协议的端口，VIP:TCP_PORT
-u:UDP协议的端口，VIP:UDP_PORT
-f:firewall MARK,标记，一个数字

  • [-s scheduler]:指定集群的调度算法，默认为wlc

image.png
实验：实现NAT模式的LVS
1 LVS
ip_forward=1
route add default gw 192.168.0.201
ipvsadm -A -t 172.20.0.200:80 -s wrr
ipvsadm -a -t 172.20.0.200:80 -r 192.168.39=0.17:8080 -m
ipvsadm -a -t 172.20.0.200:80 -r 192.168.30.27:80 -m

2 router
ip_forward=1
route add default gw 192.168.0.200

  • 管理集群上的RS:增、改、删
  • 增、改：ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m] [-w weight]
  • 删：ipvsadm -d -t|u|f service-address -r server-address
  • server-address:

rip[:port] 如省略port,不作端口映射

  • 选项：

lvs类型：
-g:gateway,dr类型，默认
-i:ipip,tun类型
-m:masquerade,nat类型
-w weight:权重

  • 清空定义的所有内容：ipvsadm -C
  • 清空计数器：ipvsadm -Z [-t|u|f service-address]
  • 查看：ipvsadm -L|I [options]

—numeric,-n:以数字形式输出地址和端口号
—exact:扩展信息，精确值
—connection,-c:当前IPVS连接输出
—stats:统计信息
—rate:输出速率信息

  • ipvs规则：/proc/net/ip_vs
  • ipvs连接：/proc/net/ip_vs_conn

    保存及重载规则

    image.png

    LVS

    image.png
    image.png

    LVS-DR

    image.png
    image.png

    RS的配置脚本

    image.png

    VS的配置脚本

    image.png
    image.png