参考:黑马程序员 b站
Dubbo分布式框架(服务框架)
Dubbo 是一款高性能、轻量级的开源Java RPC框架,提供面向接口代理的高性能RPC调用、智能负载均衡、服务自动注册和发现、运行期流量调度、可视化服务治理和运维等功能。
1. 分布式系统中的相关概念
1.1 大型互联网项目架构目标
- 传统项目
- OA(办公自动化)、HR、CRM(客户关系管理)
- 用户群体:面向企业员工 (人少)
- 用户忍耐度高
- 互联网项目
- 淘宝、微信、百度…
- 用户群体:面向网民 (人多)
- 用户忍耐度低
用户体验:美观、功能、速度、稳定性
1.1.1 互联网项目特点:
- 用户多
- 流量大、并发高
- 海量数据
- 易受攻击
- 功能繁琐
- 变更快
1.1.2 衡量网站的性能指标
- 响应时间:指执行一个请求从开始到最后收到响应数据所花费的总体时间
- 并发数:指系统同时能处理的请求数量
- 并发连接数:指的是客户端向服务器发起请求,并建立了TCP连接。每秒钟服务器连接的总TCP数量
- 请求数:也称为QPS(Query Per Second)指每秒多少请求;请求数 > 连接数(看连接是否被复用)
- 并发用户数:单位时间内有多少用户
- 吞吐量:值单位时间内系统能处理的请求数量
- QPS: Query Per Second每秒查询数。
- TPS: Transactions Per Second每秒事务数。
- 一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时,收到服务器响应后结束计时,以此来计算使用的时间和完成的事务个数。
- QPS >= 并发连接数 >= TPS
1.1.3 目标
- 高性能: 提供快速的访问体验。
- 高可用: 网站服务一直可以正常访问。
- 可伸缩: 通过硬件增加/减少,提高/降低处理能力。
- 高可扩展: 系统间耦合低,方便的通过新增/移除方式,增加减少新的功能/模块。
- 安全性: 提供网站安全访问和数据加密,安全存储等策略。
- 敏捷性: 随需应变,快速响应。
1.2 集群和分布式
- 集群:很多”人”一起,干一样的事。
- 一个业务模块,部署在多台服务器上(相同的业务模块)。
- 分布式:很多“人”一起,干不一样的事。这些不一样的事,合起来是一件大事。
- 一个大的业务系统,拆分为小的业务模块,分别部署在不同的机器上。
1.3 架构演进
1.3.1 单体架构
- 优点:
- 简单,开发部署方便,小型项目首选
- 缺点:
- 项目启动慢
- 可靠性差
- 可伸缩性差
- 扩展性和可维护性差
- 性能低
1.3.2 垂直架构
垂直架构是指将单体架构中的多个模块拆分为多个独立的项目。形成多个独立的单体架构。
- 优点
- 很好的解决了单体架构存在的一些问题
- 存在的问题
- 重复功能太多
1.3.3 分布式架构
分布式架构是指在垂直架构的基础上, 将公共业务模块抽取出来,作为独立的服务,供其他调用者消费,以实现服务的共享和重用。
RPC: Remote Procedure Call 远程过程调用。有非常多的协议和技术来都实现了RPC的过程。比如: HTTP REST风格、Java RMI规范、WebService SOAP协议、Hession等等
- 优点
- 很好的解决了垂直架构存在重复模块问题
- 存在的问题
- 服务提供方一旦产生变更,所有消费方都需要变更
1.3.4 SOA架构
- SOA: (Service-Oriented Architecture, 面向服务的架构)是一个组件模型,它将应用程序的不同功能单元(称为服务)进行拆分,并通过这些服务之间定义良好的接口和契约联系起来。
- ESB: (Enterparise Servce Bus, 企业服务总线), 服务中介。主要是提供了一个服务于服务之间的交互。ESB 包含的功能如: 负载均衡,流量控制,加密处理,服务的监控,异常处理,监控告急等等。
1.3.5 微服务架构
- 微服务架构是在SOA上做的升华,微服务架构强调的一 个重点是“业务需要彻底的组件化和服务化”,原有的单个业务系统会拆分为多个可以独立开发、设计、运行的小应用。这些小应用之间通过服务完成交互和集成。
- 微服务架构 = 80%的SOA服务架构思想+ 100%的组件化架构思想+ 80%的领域建模思想
特点:
- 服务实现组件化: 开发者可以自由选择开发技术。也不需要协调其他团队
- 服务之间交互一般使用REST API
- 去中心化: 每个微服务有自己私有的数据库持久化业务数据
- 自动化部署: 把应用拆分成为一个一个独立的单个服务,方便自动化部署、测试、运维
Dubbo 是 SOA 时代的产物,SpringCloud 是微服务时代的产物
Dubbo仅仅是一个RPC框架,实现Java程序的远程调用,实施服务化的中间件则需要自己开发;
Spring Cloud则是实施微服务的一系列套件,包括:服务注册与发现、断路器、服务状态监控、配置管理、智能路由、一次性令牌、全局锁、分布式会话管理、集群状态管理等。
2. Dubbo 概述
2.1 Dubbo概念
- Dubbo是阿里巴巴公司开源的一个高性能、轻量级的Java RPC框架
- 致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案
- 官网:http://dubbo.apache.org
2.2 Dubbo架构
https://dubbo.apache.org/zh/docs/v2.7/user/
- Registry 注册中心
- Provider 服务提供者
- Consumer 服务消费者
- Container 容器
- Monitor 监控
3. Dubbo快速入门
3.1 Zookeeper安装
- Dubbo官方推荐使用Zookeeper作为注册中心(Registry)软件
各类注册中心:
Nacos (阿里开源) | Eureka (Netflix开源) | Consul | Zookeeper | |
---|---|---|---|---|
数据一致性 | AP/CP | AP | CP | CP |
健康检查 | TCP/HTTP/MySql/ClientBeat | ClientBeat | TCP/HTTP/grpc/Cmd | Keep Alive |
负载均衡策略 | 权重/metadata/Selector | Ribbon | Fabio | - |
雪崩保护 | 有 | 有 | 无 | 无 |
容量 | 100w | 5000 | 百万级 | 百万级 |
自动注销实例 | √ | √ | × | √ |
访问协议 | HTTP/DNS | HTTP | HTTP/DNS | TCP |
监听支持 | √ | √ | √ | √ |
多数据中心 | √ | √ | √ | × |
跨注册中心同步 | √ | × | √ | × |
Spring Cloud集成 | √ | √ | √ | × |
Dubbo集成 | √ | × | × | √ |
K8s集成 | √ | × | √ | × |
3.2 快速入门
3.2.1 实现步骤
①创建服务提供者Provider模块
②创建服务消费者Consumer模块
③在服务提供者模块编写UserServicelmpl提供服务
④在服务消费者中的UserController远程调用UserServicelmpl提供的服务
⑤分别启动两个服务,测试
3.2.2 实现本地调用
spring + spring mvc
新建模块 dubbo-service (java程序jar)、dubbo-web(web程序war)
3.2.3 改造为dubbo实现远程调用
dubbo 注解
1、改造模块 dubbo-service 为 web 程序 可对外提供 服务
2、新建模块 dubbo-interface 为公共接口模块
dubbo-service、dubbo-web 都依赖于此接口模块 (被依赖的模块要先 maven install)
3、调用方 dubbo-web (controller) 用@Reference 注解注入service (公共接口模块)
/*
注入Service
* @Autowired 本地注入
* @Reference 远程注入
1.从Zookeeper注册中心获取userService的访问url
2.进行远程调用RPC
3.将结果封装成为一个代理对象,给变量赋值
/
@Reference
private UserService userService;
spring-mvc.xml 中配置 (springmvc)
4、服务方 dubbo-service (service.impl) 用 注解发布服务
/*
org.springframework.stereotype.Service;
@Service 将该类的对象创建出来 放到Spring 的 IoC 容器 (bean定义)
要实现远程调用 // @Service // 不放到 Spring 的 IoC 容器 ; 而是将服务发布
org.apache.dubbo.config.annotation.Service;
* @Service 将这个类提供的方法(服务)对外发布。将访问的地址(ip:端口,路径) 注册到注册中心中
*/
@Service
applicationContext.xml 中配置 (spring)
依赖
org.apache.dubbo
dubbo
org.apache.curator
curator-framework
org.apache.curator
curator-recipes
4. Dubbo高级特性
4.1 dubbo-admin管理平台
- dubbo-admin 管理平台,是图形化的服务管理页面
- 从注册中心中获取到所有的提供者/消费者进行配置管理
- 路由规则、动态配置、服务降级、访问控制、权重调整、负载均衡等管理功能
- dubbo-admin是一个前后端分离的项目。前端使用vue,后端使用springboot
- 安装dubbo-admin其实就是部署该项目
4.1.1 dubbo-admin 安装
4.1.2 dubbo-admin 使用
4.2 dubbo 常用高级配置(重要)
4.2.1 序列化
- 两个机器传输数据,如何传输Java对象?
- 使用序列化
- dubbo 内部已经将序列化和反序列化的过程内部封装了
- 我们只需要在定义pojo类时实现serializable接口即可
- 一般会定义一个公共的pojo模块, 生产者和消费者都依赖该模块
4.2.2 地址缓存
- 注册中心挂了,服务是否可以正常访问?
- 可以, 因为dubbo服务消费者在第一次调用时,会将服务提供方地址缓存到本地,以后在调用则不会访问注册中心。
- 当服务提供者地址发生变化时,注册中心会通知服务消费者。
4.2.3 超时
- 服务消费者在调用服务提供者的时候发生了阻塞、等待的情形, 这个时候服务消费者会一直等待下去。
- 在某个峰值时刻,大量的请求都在同时请求服务消费者,会造成线程的大量堆积,势必会造成雪崩。
- dubbo利用超时机制来解决这个问题,设置一个超时时间,在这个时间段内,无法完成服务访问,则自动断开连接。
- 使用timeout属性配置超时时间,默认值1000,单位毫秒
- 建议timeout配置在服务提供方上边;对于timeout属性,服务调用方可以覆盖服务提供方
4.2.4 重试
- 设置了超时时间,在这个时间段内,无法完成服务访问,则自动断开连接。
- 如果出现网络抖动,则这一次请求就会失败。
- Dubbo提供重试机制来避免类似问题的发生。
- 通过retries属性来设置重试次数。默认为2次。
4.2.5 多版本
- 灰度发布: 当出现新功能时,会让一部分用户先使用新功能,户反馈没问题时,再将所有用户迁移到新功能。
- dubbo中使用version属性来设置和调用同一个接口的不同版本
4.2.6 负载均衡
负载均衡策略(4种):
- Random: 按权重随机,默认值。按权重设置随机概率。
- RoundRobin: 按权重轮询。
- LeastActive: 最少活跃调用数,相同活跃数的随机。
- ConsistentHash: 一致性Hash, 相同参数的请求总是发到同一提供者。
4.2.7 集群容错
https://dubbo.apache.org/zh/docs/v2.7/user/examples/fault-tolerent-strategy/
集群容错模式:
- Failover Cluster: 失败重试。默认值。当出现失败, 重试其它服务器,默认重试2次,使用retries配置。一般用于读操作
- Failfast Cluster :快速失败, 只发起一次调用,失败立即报错。通常用于写操作。
- Failsafe Cluster: 失败安全,出现异常时,直接忽略。返回一个结课。
- Failback Cluster: 失败自动恢复,后台记录失败请求,定时重发。
- Forking Cluster : 并行调用多个服务器,只要一个成功即返回。
- Broadcast Cluster : 广播调用所有提供者,逐个调用,任意一台报错则报错。
4.2.8 服务降级
当机器性能消耗过大时,需要对不重要的服务进行降级,将性能留给重要的服务
服务降级方式:
- mock=force:return null 表示消费方对该服务的方法调用都直接返回null值,不发起远程调用。用来屏蔽不重要服务不可用时对调用方的影响。
- mock=fail:return null 表示消费方对该服务的方法调用在失败后,再返回null值,不抛异常。用来容忍不重要服务不稳定时对调用方的影响。