安装Portainer
编写docker-compose文件
Portainer部署的步骤比较简单,还是以docker-compose文件的形式完成Portainer的安装,首先需要需要编写的名为portainer.yml的文件,内容如下:
version: "3"
services:
portainer:
image: portainer/portainer:latest
container_name: portainer
ports:
- "9000:9000"
volumes:
- /app/portainer/data:/data
- /var/run/docker.sock:/var/run/docker.sock
完成后,将这个文件上传到服务器即。
初始化并配置容器
将配置文件上传之后就可以尝试启动了,为了方便查看服务是否可以正常启动,先以前台运行的方式启动,到达portainer.yml文件位置,键入前台启动命令
docker-compose -f portainer.yml up
当控制台没有输出错误,并显示正常启动后,浏览器输入服务器ip:9000,即可进入Portainer初始化界面,它会要求我们配置用户名密码:
完成账户密码初始化之后,点击local进行服务器本地容器管理
此时就会看到local中docker的基本信息了
在步入local,就可以按需管理容器、镜像、网络等配置信息。不妨点击containers查看服务器中当前运行的docker容器。
可以看到docker中容器的运行情况,由于Portainer涉及操作很多,这里就不一一演示了,可以自行查阅Portainer官方文档:https://www.portainer.io/take-5
到上述步骤已经可以确定Portainer安装基本成功了,可以回到服务器将Portainer后台启动,正式使用Portainer了。
docker-compose -f portainer.yml up -d
实践-基于Portainer安装redis-sentinel部署
介绍
这里就基于一个redis-sentinel的部署介绍一下Portainer的日常操作步骤。
首先来介绍一下本次部署架构,基于一台服务器完成一主二从+三个哨兵的部署架构,最终效果是:
- 当主节点更新数据之后,从节点数据也会进行同步。
- 将主节点手动停止之后,哨兵就会选举出新的master继续进行工作。
安装步骤
主从复制部署
首先先进行主从结构的部署,还是基于docker-compose创建一个名为redis-cluster.yml的文件配置一下主从信息,配置内容如下,已将配置的含义都一一注释,可自行参考修改。需要注意以下两点:
安全起见,建议尽可能不要使用6379作为对外暴露的端口号,就算使用6379也尽可能设置一个安全的密码,避免被人下挖矿程序。
version: '3'
services:
# 主节点
master:
image: redis
# 主节点名称
container_name: redis-master
# 设置redis登录密码、从节点连接主节点的密码
command: redis-server --requirepass xxxx--masterauth xxxx
ports:
# 对外暴露端口号为16379
- 16379:6379
# 从节点
slave1:
image: redis
container_name: redis-slave-1
ports:
# 对外暴露端口号为16380
- 16380:6379
# 启动redis 从属于容器名为 redis-master的redis,端口号为容器端口号而不是对外映射端口号,设置连接密码,连接主节点的密码
command: redis-server --slaveof redis-master 6379 --requirepass xxxx--masterauth xxxxx
# 从节点2
slave2:
image: redis
container_name: redis-slave-2
ports:
- 16381:6379
command: redis-server --slaveof redis-master 6379 --requirepass xxxxx --masterauth xxxxx
完成后即可将配置上传到服务器并启动:
docker-compose -f redis-cluster.yml up
启动完成后就可以在Portainer中看到一主二从出现在containers列表中
以master为例,不妨点击log查看master节点的运行情况
从输出可以看到master没有输出任何错误,说明master正常运行了。
在确认每个容器都能正常启动之后,不妨尝试在master节点写入一些数据测试一下主从节点同步功能是否正常。
在没有Portainer之前,进入docker容器内容用的都是使用<font style="color:rgb(40, 202, 113);">docker exec -it</font>
容器id bash/sh命令,有了Portainer之后,进入容器的操作就变得非常简单了。
回到容器列表,点击redis-master进入容器管理界面
点击console,进入容器终端连接界面
点击connect连接进入容器
然后就进入的容器内部,尝试使用redis-cli认证并设置一个kv值。
完成上述步骤后,到达从节点的容器内部查阅数据可以发现,主节点数据确实同步过来了,自此主从复制部署基本完成。
创建redis-sentinel专用网络驱动
为了确保redis-sentinel可以统一管理且和其他容器隔离,在部署sentinel之前需要基于Portainer创建一个自定义的brige网络。
什么是brige网络呢?其实docker容器中有以下几种网络驱动类型,不同的网络驱动类型可以使得容器和宿主机有着不同的网络关联:
- host:使用docker宿主机网络
- bridge:该网络支持在同一个宿主机上的各个容器实例之间的通信。bridge网络是一个独立的网络空间,在网络空间内部的各个容器实例能够直接通信。
- none:是一个完全隔离的自治网络,甚至与Docker宿主机的网络都不通,必须手工配置网卡后才能够使用。加入到该网络的容器实例,往往要在后续设置中加入到其他的第三方网络。
- overlay:该类型的网络适用于Docker宿主机集群中的各个独立的容器实例之间通信。
- macvlan:该类型的网络适用于容器实例需要与宿主机的MAC地址直接通信,无需端口映射,也无需NAT,容器实例的eth0直接与宿主机的物理网卡通信。容器实例可以被赋予公共IP,并从宿主机外部直接访问。
所以这里就希望创建一个名为redis-sentinel的bridge网络将主从和哨兵节点关联起来,并且和docker中的其他容器隔离开:
所以按照点击network,选择add network进行自定义网络创建
输入名称为redis-sentinel,其余默认,然后直接点击
然后直接点击create the network
然后就可以在network列表中看到配置的network,自此网络Redis专用桥接网络配置完成。
重点来了,Redis主从节点现在都处于默认的网络驱动中,必须手动将其配置到redis-sentinel网络中,当然有了Portainer,这种操作也不会很难。
只需要点击容器列表,找到主动节点容器,然后分别进入他们的管理列表最下方,找到network选项,在network列表中找到redis-sentinel选择join network即可。
创建哨兵
接下来就可以配置哨兵节点了,首先自然是创建一个名为redis-sentinel.yml的docker-compose文件配置3个哨兵:
从配置文件中可以看出哨兵文件和宿主文件进行关联,所以需要按照上面配置在app/cloud/redis/sentinel/文件夹下创建3个哨兵的配置文件sentinel.conf。
version: '3'
services:
sentinel1:
image: redis
# 容器名称
container_name: redis-sentinel-1
ports:
# 端口映射
- 26379:26379
# 启动redis哨兵
command: redis-sentinel /usr/local/etc/redis/sentinel.conf
volumes:
# 哨兵1的sentinel.conf和宿主文件位置映射
- /app/cloud/redis/sentinel/sentinel1.conf:/usr/local/etc/redis/sentinel.conf
sentinel2:
image: redis
container_name: redis-sentinel-2
ports:
- 26380:26379
command: redis-sentinel /usr/local/etc/redis/sentinel.conf
volumes:
- /app/cloud/redis/sentinel/sentinel2.conf:/usr/local/etc/redis/sentinel.conf
sentinel3:
image: redis
container_name: redis-sentinel-3
ports:
- 26381:26379
command: redis-sentinel /usr/local/etc/redis/sentinel.conf
volumes:
- /app/cloud/redis/sentinel/sentinel3.conf:/usr/local/etc/redis/sentinel.conf
# 重点,将3个哨兵加入到redis-sentinel和主从节点建立联系
networks:
default:
external:
name: redis-sentinel
哨兵1的配置文件如下,其余哨兵配置同理,只需按需修改ip和端口号即可:
port 26379
dir /tmp
# master节点在bridge网络中的ip值
sentinel monitor redis-master 172.20.0.2 6379 2
# master节点密码
sentinel auth-pass redis-master xxxxx
sentinel down-after-milliseconds redis-master 30000
sentinel parallel-syncs redis-master 1
sentinel failover-timeout redis-master 180000
sentinel deny-scripts-reconfig yes
可以看到将master节点命名为redis-master,然后网络配置为172.20.0.2这个值是从哪里来的呢?很简单,点击redis-master即Redis主节点那个容器管理界面,到达最下方,就可以在ip address一栏看到master节点的容器ip地址,因为哨兵节点和主从节点都处于redis-sentinel这个网络中,所以170.20.0.x这个网络是互通的,在bridge模式下配置这个ip地址是完全没有问题的。
完成上述步骤后就可以将哨兵启动
docker-compose -f redis-sentinel.yml up
此时点击任意一个哨兵节点都可以看到,哨兵的状态信息,自此哨兵也部署完成了
测试可用性
此时就可以测试哨兵是否正常工作了,测试用例很简单,将master关闭掉,查看哨兵是否会选举出新的master顶上。
在测试前首先进入master容器输入info replication
查看master容器中的Redis是否为主节点
再查看另外两个几点是否身份是否确属从节点。
从节点1:
从节点2:
通过Portainer图形界面将redis-master关闭。
点入任意一个哨兵日志,可以看到它监控到主节点下线,并快速选举出一个新的节点作为master上线
根据ip地址172.20.0.3定位到是slave2这个Redis,进入容器查看其身份,确实变为master。
自此redis-sentinel部署完成了。
SpringBoot集成Redis Sentinel
为了保证docker环境下部署的完整性,接下来就希望本地的web应用可以通过Redis Sentinel架构操作Redis。
在Sentinel架构下操作Redis集群可直接通过sentinel节点操作master,通过访问sentinel获取可用的master地址,然后就可以把操作提交到master中。
修改哨兵配置文件
由于操作master节点需要经历:向sentinel询问master地址->根据sentinel返回信息操作master,这就意味的哨兵返回的master地址信息必须是可访问的。
而上文中的sentinel.conf配置的都是docker容器的内网地址,web服务是外网访问,是无法和内网容器连接的。
所以必须修改上文关于哨兵的配置文件sentinel1.conf、sentinel2.conf、sentinel3.conf。
以sentinel1.conf为例,将redis-master的ip地址改为外网ip,确保返回的master地址信息,对本地服务是可以访问的。
port 26379
dir /tmp
# master节点ip
sentinel monitor redis-master 外网ip 16379 2
# master节点密码
sentinel auth-pass redis-master 密码
sentinel down-after-milliseconds redis-master 30000
sentinel parallel-syncs redis-master 1
sentinel failover-timeout redis-master 180000
sentinel deny-scripts-reconfig yes
完成后到Portainer中重启哨兵
SpringBoot应用集成依赖
引入SpringBoot关于Redis的脚手架以及lettuce连接池。
这里扩展一下为什么添加lettuce连接池的依赖,Lettuce 和 Jedis 的都是连接Redis Server的客户端程序。但是Jedis在实现上是直连Redis Server,多线程环境下非线程安全,除非使用连接池,为每个Jedis实例增加物理连接。
而Lettuce基于Netty的连接实例,可以在多个线程间并发访问,且线程安全,满足多线程环境下的并发访问,同时它是可伸缩的设计,一个连接实例不够的情况也可以按需增加连接实例。
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
<!-- lettuce pool 缓存连接池 -->
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-pool2</artifactId>
<version>2.5.0</version>
</dependency>
注册中心配置Redis参数
引入redis-starter配置之后,就可以配置Redis了。从依赖中已经表明需要用到lettuce 操作Redis客户端,所以可以到SpringBoot自动配置包中找到关于lettuce pool的配置类LettuceConnectionConfiguration
。
在LettuceConnectionConfiguration
找到关于客户端连接配置的Bean方法,可以看到其配置获取顺序是:sentinel(哨兵)->cluster(集群)->Standalone(单机)
@Bean
@ConditionalOnMissingBean(RedisConnectionFactory.class)
public LettuceConnectionFactory redisConnectionFactory(ClientResources clientResources)
throws UnknownHostException {
....略
//创建连接工厂
return createLettuceConnectionFactory(clientConfig);
}
private LettuceConnectionFactory createLettuceConnectionFactory(LettuceClientConfiguration clientConfiguration) {
//有sentinel则创建sentinel配置工厂
if (getSentinelConfig() != null) {
return new LettuceConnectionFactory(getSentinelConfig(), clientConfiguration);
}
//有cluster配置则取cluster创建cluster连接工厂
if (getClusterConfiguration() != null) {
return new LettuceConnectionFactory(getClusterConfiguration(), clientConfiguration);
}
//默认配置
return new LettuceConnectionFactory(getStandaloneConfig(), clientConfiguration);
}
不如通过getSentinelConfig()
方法细节中即可定位到sentinel配置的对象RedisSentinelConfiguration
,然后就可以根据每个成员变量的调用定位到该配置文件文件的配置格式:
以master为例,通过对RedisSentinelConfiguration
全局搜索master的引用处定位到了下面这段代码,由此可知Redis配置中的master与配置文件中的spring.redis.sentinel.master相关联。
private static Map<String, Object> asMap(String master, Set<String> sentinelHostAndPorts) {
//........略
Map<String, Object> map = new HashMap<>();
//spring.redis.sentinel.master 决定master的值
map.put(REDIS_SENTINEL_MASTER_CONFIG_PROPERTY, master);
//........略
return map;
}
经过分析总结得出下面这段配置,这里为了测试方便就配置了一个哨兵,需要注意的是如果哨兵和主从节点有密码则配置中必须添加关于password的配置。
spring:
redis:
# master有密码则需要配置master认证面膜
password: xxxxx
sentinel:
master: redis-master
# 多个节点用,分开,例如节点1ip:26379,节点2ip:26379
nodes: 节点ip:26379
password: xxxx
# lettuce连接池配置信息
lettuce:
pool:
max-idle: 10
max-active: 20
min-idle: 5
max-wait: 10000ms
编码测试
在Controller中注入RedisTemplate 。
@Autowired
private RedisTemplate redisTemplate;
然后编写写入和读取的类,接下来就可以将服务启动测试了,这里为了测试为了能够快速测试可用性,编写了一个简单的RedisStrDto 对象用于存储string类型。
@Getter
@Setter
@AllArgsConstructor
@NoArgsConstructor
@ToString
public class RedisStrDto {
String key;
String value;
}
然后在controller中编写存取两个接口。
@PostMapping("setKey")
public ResultData<String> setKey(@RequestBody RedisStrDto redisStrDto) {
redisTemplate.opsForValue().set(redisStrDto.getKey(),redisStrDto.getValue());
return ResultData.success("success");
}
@GetMapping("getKey/{key}")
public ResultData<Object> getKey(@PathVariable(value = "key") String key) {
return ResultData.success(redisTemplate.opsForValue().get(key));
}
然后就可以基于自己的测试工具进行请求测试了,首先先通过setKey插入数据到Redis中。
为了查看数据是否成功插入,这里直接通过接口查询,可以看到上一个接口插入的数据确实返回了,由此可知服务集成Redis成功。