1. 两种负载均衡
当系统面临大量的用户访问,负载过高的时候,通常会增加服务器数量来进行横向扩展(集群),多个服务器的负载需要均衡,以免出现服务器负载不均衡,部分服务器负载较大,部分服务器负载较小的情况。通过负载均衡,使得集群中服务器的负载保持在稳定高效的状态,从而提高整个系统的处理能力。
软件负载均衡:nginx lvs
硬件负载均衡:F5
我们只关注软件负载均衡,
第一层可以用DNS,配置多个A记录,让DNS做第一层分发。
第二层用比较流行的是反向代理,核心原理:代理根据一定规则,将http请求转发到服务器集群的单一服务器上。
软件负载均衡分为:服务端(集中式),客户端。
服务端负载均衡:在客户端和服务端中间使用代理,nginx。
客户端负载均衡:根据自己的情况做负载。Ribbon就是。
客户端负载均衡和服务端负载均衡最大的区别在于: 服务端地址列表的存储位置,以及负载算法在哪里。
1.1 客户端负载均衡
在客户端负载均衡中,所有的客户端节点都有一份自己要访问的服务端地址列表,这些列表统统都是从服务注册中心获取的;
Ribbon使用的是客户端负载均衡。
而在Spring Cloud中我们如果想要使用客户端负载均衡,方法很简单,使用@LoadBalanced
注解即可,这样客户端在发起请求的时候会根据负载均衡策略从服务端列表中选择一个服务端,向该服务端发起网络请求,从而实现负载均衡。
Ribbon官方: https://github.com/Netflix/ribbon
1.2 服务端负载均衡
在服务端负载均衡中,客户端节点只知道单一服务代理的地址,服务代理则知道所有服务端的地址。
上面几种负载均衡,硬件,软件(服务端nginx,客户端ribbon)。目的都是将请求分发到其他功能相同的服务。
如果手动实现,其实也是它的原理,做事的方法。
手写客户端负载均衡
- 知道自己的请求目的地(虚拟主机名,默认是
spring.application.name
) - 获取所有服务端地址列表(也就是注册表)。
- 选出一个地址,找到虚拟主机名对应的
ip
、port
(将虚拟主机名 对应到 ip和port上)。 - 发起实际请求(纯HTTP的请求)。
Ribbon是Netflix开发的客户端负载均衡器,为Ribbon配置服务提供者地址列表后,Ribbon就可以基于某种负载均衡策略算法,自动地帮助服务消费者去请求服务提供者。Ribbon默认为我们提供了很多负载均衡算法,例如轮询、随机等。我们也可以实现自定义负载均衡算法。
Ribbon作为Spring Cloud的负载均衡机制的实现,它实现了:
- Ribbon与Eureka配合使用时,Ribbon可自动从Eureka Server获取服务提供者地址列表,并基于负载均衡算法,请求其中一个服务提供者实例。
- Ribbon可以单独使用,作为一个独立的负载均衡组件。只是需要我们手动配置 服务地址列表。
Ribbon
与OpenFeign
和RestTemplate
可以进行无缝对接,让二者具有负载均衡的能力。OpenFeign
组件默认集成了ribbon。2. Ribbon组成
官网首页:https://github.com/Netflix/ribbon
Ribbon组件 | 说明 |
---|---|
ribbon-core | 核心的通用性代码。api一些配置。 |
ribbon-eureka | 基于eureka封装的模块,能快速集成eureka。 |
ribbon-examples | 学习示例。 |
ribbon-httpclient | 基于apache httpClient封装的rest客户端,集成了负载均衡模块,可以直接在项目中使用。 |
ribbon-loadbalancer | 负载均衡模块。 |
ribbon-transport | 基于netty实现多协议的支持。比如http,tcp,udp等。 |
3. Ribbon自带的负载均衡算法
策略算法 | 名字 | 说明 |
---|---|---|
ZoneAvoidanceRule(默认) |
区域权衡策略 | 复合判断Server所在区域的性能和Server的可用性,轮询选择服务器。 其他规则: |
BestAvailableRule |
最低并发策略 | 会先过滤掉由于多次访问故障而处于断路器跳闸状态的服务,然后选择一个并发量最小的服务。逐个找服务,如果断路器打开,则忽略。 |
RoundRobinRule |
轮询策略 | 以简单轮询选择一个服务器。按顺序循环选择一个server。 |
RandomRule |
随机策略 | 随机选择一个服务器。 |
AvailabilityFilteringRule |
可用过滤策略 | 会先过滤掉多次访问故障而处于断路器跳闸状态的服务和过滤并发的连接数量超过阀值得服务,然后对剩余的服务列表安装轮询策略进行访问。 |
WeightedResponseTimeRule |
响应时间加权策略 | 据平均响应时间计算所有的服务的权重,响应时间越快服务权重越大,容易被选中的概率就越高。刚启动时,如果统计信息不中,则使用RoundRobinRule(轮询)策略,等统计的信息足够了会自动的切换到WeightedResponseTimeRule。响应时间长,权重低,被选择的概率低。反之,同样道理。此策略综合了各种因素(网络,磁盘,IO等),这些因素直接影响响应时间。 |
RetryRule |
重试策略 | 先按照RoundRobinRule (轮询)的策略获取服务,如果获取的服务失败则在指定的时间会进行重试,进行获取可用的服务。如多次获取某个服务失败,就不会再次获取该服务。主要是在一个时间段内,如果选择一个服务不成功,就继续找可用的服务,直到超时。 |
4. 使用LoadBalancerClient
给定业务: 查询用户收藏的订单列表. 次业务需要从用户中心发起, 调用订单中心.
4.1 order_center项目新增接口如下
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
/**
* @Author:壹心科技BCF项目组 wangfan
* @Date:Created in 2020/10/5 13:17
* @Project:epec
* @Description:TODO
* @Modified By:wangfan
* @Version: V1.0
*/
@RestController
@RequestMapping("/order")
public class OrderController {
/**
* 通过用户ID获取收藏的订单列表接口
* @param userId
* @return
*/
@GetMapping("/user/collect/list/{userId}")
public String getOrderList(@PathVariable Integer userId){
return "{\"code\":\"0000\",\"msg\":\"success\",\"rersult\":[{\"name\":\"name1\",\"id\":\"100034\"},{\"name\":\"name2\",\"id\":\"100035\"},{\"name\":\"name3\",\"id\":\"100036\"}]}";
}
}
4.2 user_center项目新增接口如下
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.cloud.client.ServiceInstance;
import org.springframework.cloud.client.loadbalancer.LoadBalancerClient;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.client.RestTemplate;
/**
* @Author:壹心科技BCF项目组 wangfan
* @Date:Created in 2020/10/5 13:17
* @Project:epec
* @Description:TODO
* @Modified By:wangfan
* @Version: V1.0
*/
@RestController
public class CollectController {
//http客户端工具
@Autowired
private RestTemplate template;
//注入负载均衡客户端
@Autowired
private LoadBalancerClient loadBalancerClient;
/**
* 获取用户收藏的订单列表
* @param userId
* @return
*/
@GetMapping("/collect/orders/{userId}")
public String getCollectOrders(@PathVariable("userId") Integer userId){
//选择一个ORDER-CENTER实例
ServiceInstance serviceInstance = loadBalancerClient.choose("ORDER-CENTER");
//拼接HTTP URL请求
String url = "http://"+serviceInstance.getHost()+":"+serviceInstance.getPort()+"/order/user/collect/list/"+userId;
//发起请求, 接收结果
String result = template.getForObject(url, String.class);
result = "请求"+url+", 返回结果:"+result;
return result;
}
}
4.3 启动项目并测试
user_center
项目启动2个端口: 9000
和 9001
order_center
项目启动2个端口: 10000
和 10001
user_center
项目 和 order_center
项目和 Eureka注册中心都启动成功之后. 打开注册中心控制面板:
表示注册没问题.
打开浏览器输入: http://192.168.0.100:9000/collect/orders/1
得到结果:
请求http://localhost:10000/order/user/collect/list/1, 返回结果:{“code”:”0000”,”msg”:”success”,”rersult”:[{“name”:”name1”,”id”:”100034”},{“name”:”name2”,”id”:”100035”},{“name”:”name3”,”id”:”100036”}]} 或者 请求http://localhost:10001/order/user/collect/list/1, 返回结果:{“code”:”0000”,”msg”:”success”,”rersult”:[{“name”:”name1”,”id”:”100034”},{“name”:”name2”,”id”:”100035”},{“name”:”name3”,”id”:”100036”}]}
5. 切换负载均衡策略
5.1 声明@Bean注解方式切换
import com.netflix.loadbalancer.*;
/**
* 切换客户端负载均衡策略
*/
@Bean
public IRule configRule(){
// return new RoundRobinRule(); //轮询策略
// return new RandomRule(); //随机策略
// return new ZoneAvoidanceRule(); //区域权衡策略
// return new BestAvailableRule(); //最低并发策略
// return new AvailabilityFilteringRule();//可用过滤策略
// return new WeightedResponseTimeRule(); //响应时间加权策略
return new RetryRule(); //重试策略
}
5.2 配置方式切换
#切换客户端负载均衡策略
#给所有服务定ribbon策略:
ribbon.NFLoadBalancerRuleClassName=com.netflix.loadbalancer.RandomRule
#针对服务定ribbon策略:
provider.ribbon.NFLoadBalancerRuleClassName=com.netflix.loadbalancer.RandomRule
6. 自定义负载均衡策略
/**
* 获取用户收藏的订单列表
* @param userId
* @return
*/
@GetMapping("/collect/orders/{userId}")
public String getCollectOrders(@PathVariable("userId") Integer userId){
//选择一个ORDER-CENTER实例
ServiceInstance serviceInstance;
//获取ORDER-CENTER所有实例列表
List<ServiceInstance> instances = discoveryClient.getInstances("ORDER-CENTER");
//自定义轮训算法
AtomicInteger counter = new AtomicInteger();
int i = counter.getAndIncrement();
serviceInstance = instances.get(i % instances.size());
//自定义随机算法
int random = new Random().nextInt(instances.size());
serviceInstance = instances.get(random);
//自定义权重
instances.forEach(instance->{
instance.getMetadata(); //获取自定义权重元信息分析权重来获取权重算法
});
//使用默认方式选择一个ORDER-CENTER实例
serviceInstance = loadBalancerClient.choose("ORDER-CENTER");
//拼接HTTP URL请求
String url = "http://"+serviceInstance.getHost()+":"+serviceInstance.getPort()+"/order/user/collect/list/"+userId;
//发起请求, 接收结果
String result = template.getForObject(url, String.class);
result = "请求"+url+", 返回结果:"+result;
return result;
}
7. 单独使用ribbon
ribbon默认和Spring cloud集成, 从服务注册中心获取服务端的地址信息. 如果要单独使用, 需要额外配置关闭它的微服务能力并手动指定服务列表给ribbon.
#ribbon单独使用
ribbon.eureka.enabled=false
ribbon.listOfServers=localhost:10000,localhost:10001
8. Ribbon集成RestTemplate
8.1 @Bean注解方法上加上@Loadbalancer
import org.springframework.context.annotation.Bean;
import org.springframework.cloud.client.loadbalancer.LoadBalanced;
/**
* 因为RestTemplate不需要维护状态或属性等信息, 所以可以做成单例让Spring管理.
* @return
*/
@Bean
@LoadBalanced
public RestTemplate getRestTemplate(){
return new RestTemplate();
}
8.3 调用方式发生变化
/**
* 获取用户收藏的订单列表版本v2
* @param userId
* @return
*/
@GetMapping("/collect/orders/v2/{userId}")
public String getCollectOrdersV2(@PathVariable("userId") Integer userId){
//注册中心服务名
String orderCenterName = "ORDER-CENTER";
//拼接HTTP URL请求
String url = "http://"+orderCenterName+"/order/user/collect/list/"+userId;
//发起请求, 接收结果
String result = template.getForObject(url, String.class);
result = "请求"+url+", 返回结果:"+result;
return result;
}
8.4 测试
打开浏览器输入: http://localhost:9000/collect/orders/v2/1
响应数据:
请求http://ORDER-CENTER/order/user/collect/list/1, 返回结果:{“code”:”0000”,”msg”:”success”,”rersult”:[{“name”:”name1”,”id”:”100034”},{“name”:”name2”,”id”:”100035”},{“name”:”name3”,”id”:”100036”}]}