LVS相关术语

• DS：Director Server。指的是前端负载均衡器节点。
• RS：Real Server。后端真实的工作服务器。
• VIP：向外部直接面向用户请求，作为用户请求的目标的IP地址。
• DIP：Director Server IP，主要用于和内部主机通讯的IP地址。
• RIP：Real Server IP，后端服务器的IP地址。
• CIP：Client IP，访问客户端的IP地址。

负载均衡技术有很多实现方案，有基于DNS域名轮流解析的方法、有基于客户端调度访问的方法、有基于应用层系统负载的调度方法，还有基于IP地址的调度方法，在这些负载调度算法中，执行效率最高的是IP负载均衡技术。
LVS 的IP负载均衡技术是通过IPVS模块来实现的，IPVS是LVS集群系统的核心软件，它的主要作用是：安装在Director Server上，同时在Director Server上虚拟出一个IP地址，用户必须通过这个虚拟的IP地址访问服务。这个虚拟IP一般称为LVS的VIP，即Virtual IP。访问的请求首先经过VIP到达负载调度器，然后由负载调度器从Real Server列表中选取一个服务节点响应用户的请求。

调用过程如下：

1. 当用户向负载均衡调度器（Director Server）发起请求，调度器将请求发往至内核空。
2. PREROUTING链首先会接收到用户请求，判断目标IP确定是本机IP，将数据包发往INPUT链。
3. IPVS是工作在INPUT链上的，当用户请求到达INPUT时，IPVS会将用户请求和自己已定义好的集群服务进行比对，如果用户请求的就是定义的集群服务，那么此时IPVS会强行修改数据包里的目标IP地址及端口，并将新的数据包发往POSTROUTING链。
4. POSTROUTING链接收数据包后发现目标IP地址刚好是自己的后端服务器，那么此时通过选路，将数据包最终发送给后端的服务器。

当用户的请求到达负载调度器后，调度器如何将请求发送到提供服务的Real Server节点，而Real Server节点如何返回数据给用户，是IPVS实现的重点技术，IPVS实现负载均衡机制有三种，分别是NAT、TUN和DR。

NAT模式

VS/NAT： 即（Virtual Server via Network Address Translation），也就是网络地址翻译技术实现虚拟服务器，当用户请求到达调度器时，调度器将请求报文的目标地址（即虚拟IP地址）改写成选定的Real Server地址，同时报文的目标端口也改成选定的Real Server的相应端口，最后将报文请求发送到选定的Real Server。在服务器端得到数据后，Real Server返回数据给用户时，需要再次经过负载调度器将报文的源地址和源端口改成虚拟IP地址和相应端口，然后把数据发送给用户，完成整个负载调度过程。
参考架构图来说明：

1. 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文源IP为CIP，目标IP为VIP，即CIP-VIP。
2. PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链。
3. IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。此时报文源IP为CIP，目标IP为RIP，即CIP-RIP。
4. POSTROUTING链通过选路，将数据包发送给Real Server。
5. Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。 此时报文源IP为RIP，目标IP为CIP，即RIP-CIP。
6. Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。 此时报文源IP为VIP，目标IP为CIP，即VIP-CIP。

LVS-NAT模型特性：

• Director Server：只转发，不建立链接，不做三次握手。要保证三次握手到四次分手不可分割。后端RS镜像，不发出socket。
• RS应该使用私有地址，RS的网关必须指向DIP，DIP和RIP必须在同一个网段内。
• 支持端口映射。
• 支持所有操作系统及私有网络，且只需一个公网 IP 地址。
• 缺陷
  • 请求和响应报文都需要经过Director Server，高负载场景中，Director Server易成为性能瓶颈。

S_NAT模式：虚拟机上的NAT模式，修改源地址。
例如：在两个虚拟机访问百度网站

192.168.56.121、192.168.56.122
———>（192.168.56.1）NAT路由器（18.18.18.8）
———>百度 123.123.123.88

过程：在NAT路由器，修改源地址为对外的网卡地址。

CIP-RIP  -> CIP-VIP -> VIP:DIP -> DIP:RIP 
192.168.56.121:1212 -> 123.123.123.88:80
192.168.56.122:1313 -> 123.123.123.88:80
            |
192.168.56.121:1212 -> 192.168.56.1:2345
192.168.56.121:1313 -> 192.168.56.1:3456
      |
18.18.18.8:2345 -> 123.123.123.88:80
18.18.18.8:3456 -> 123.123.123.88:80

DR模式

VS/DR： 即（Virtual Server via Direct Routing），也就是用直接路由技术实现虚拟服务器。它的连接调度和管理与VS/NAT一样，但它的报文转发方法有不同，VS/DR通过改写请求报文的MAC地址为挑选出的RS的MAC地址（MAC地址欺骗），将请求发送到Real Server，而Real Server将响应直接返回给客户。
参考架构图来说明：

1. 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP，即CIP-VIP。
2. PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链。
3. IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。 此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址。
4. 由于DS和RS在同一个网络中，所以是通过链路层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。
5. RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。 此时的源IP地址为VIP，目标IP为CIP。
6. 响应报文最终送达至客户端。

   LVS-DR模型特性

• Director Server：只转发，不建立链接，不做三次握手。要保证三次握手到四次分手不可分割。后端RS镜像，不发出socket。
• 所有的请求报文经由Director Server，但响应报文必须不能经过Director Server。。
  • 在前端路由器做静态地址路由绑定，将对于VIP的地址仅路由到Director Server
  • 用户未必有路由操作权限，因为有可能是运营商提供的，所以这个方法未必实用
  • arptables：在arp的层次上实现在ARP解析时做防火墙规则，过滤RS响应ARP请求。这是由iptables提供的
  • 通过改写请求报文的MAC地址，将请求发送到RS，而RS将响应直接返回给客户，性能最好。
    • 修改RS上内核参数（arp_ignore和arp_announce），将RS上的VIP配置在lo接口的别名上，创建一个隐藏的VIP，并限制其不能响应对VIP地址解析请求。
• RS可以使用私有地址；也可以是公网地址，如果使用公网地址，此时可以通过互联网对RIP进行直接访问
• RS可以是大多数常见的操作系统。

• 缺陷

  • 不支持地址转换，也不支持端口映射。
  • 必须要求Director Server与Real Server都有一块网卡连在同一物理网段上。

    隐藏VIP的方法

    修改kernel parameter：

• 目标mac地址全为F，交换机触发广播

• /proc/sys/net/ipv4/conf/*IF*/
• arp_ignore：定义收到ARP请求时的响应级别
  • 0：只要本地配置的有相应地址，就给予响应，默认值。
  • 1：仅在请求的目标MAC地址配置请求到达接口上的时候，才给予响应。
• arp_announce：定义将自己地址向外通告时的通告级别
  • 0：将本地任何接口上的任何地址向外通告，默认值。
  • 1：视图仅向目标网络通告与其网络匹配的地址
  • 2：仅向与本地接口上地址匹配的网络进行通告

TUN模式

VS/TUN ：即（Virtual Server via IP Tunneling），也就是IP隧道技术实现虚拟服务器。它的连接调度和管理与VS/NAT方式一样，只是它的报文转发方法不同，VS/TUN方式中，调度器采用IP隧道技术将用户请求转发到某个Real Server，而这个Real Server将直接响应用户的请求，不再经过Director Server，此外，对Real Server的地域位置没有要求，可以和Director Server位于同一个网段，也可以是独立的一个网络。因此，在TUN方式中，调度器Director Server将只处理用户的报文请求，集群系统的吞吐量大大提高。
在原有的IP报文外再次封装多一层IP首部，内部IP首部(源地址为CIP，目标IIP为VIP)，外层IP首部(源地址为DIP，目标IP为RIP)，参考架构图来说明：

1. 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP 。
2. PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链。
3. IPVS比对数据包请求的服务是否为集群服务，若是，在请求报文的首部再次封装一层IP报文，封装源IP为DIP，目标IP为RIP。然后发至POSTROUTING链。 此时源IP为DIP，目标IP为RIP。
4. POSTROUTING链根据最新封装的IP报文，将数据包发至RS（因为在外层封装多了一层IP首部，所以可以理解为此时通过隧道传输）。 此时源IP为DIP，目标IP为RIP。
5. RS接收到报文后发现是自己的IP地址，就将报文接收下来，拆除掉最外层的IP后，会发现里面还有一层IP首部，而且目标是自己的lo接口VIP，那么此时RS开始处理此请求，处理完成之后，通过lo接口送给eth0网卡，然后向外传递。 此时的源IP地址为VIP，目标IP为CIP。
6. 响应报文最终送达至客户端。

   LVS-Tun模型特性

• DS采用IP隧道技术将用户请求转发到某个RS，而这个RS将直接响应用户请求，不再经过DR，DR只处理用户的报文请求，从而使集群系统吞吐量大大提高。
• RS的网关不能指向DIP。
• 缺点：
  • RIP、VIP、DIP全是公网地址
  • 不支持端口映射
  • RS的系统必须支持隧道