配置中心选型
选型的原则：简单，易落地，不挑平台，不挑语言，尽量少的依赖。
对比了Disconf、Apollo等方案，最终选择了Etcd+Confd的方案，基本符合上边的原则，且Etcd我们在部署Kubernetes的时候已经有过使用，算是轻车熟路。
配置中心架构图
- Etcd作为服务端来存储数据，Confd作为客户端去Etcd取数据更新
- 为了更方便的管理写了WebUI，实际上是一个Etcd服务的WebUI，主要与Etcd服务交互，去Etcd存取数据
- Confd有一个watch功能，通过HTTP API定期监测对应的Etcd中目录变化，获取最新的Value，然后渲染模板，更新配置文件。
配置文件生成后还可以配合check_cmd和reload_cmd命令对配置文件进行检查和重新加载
配置中心部署
Etcd集群
系统环境
- System：Centos 7.4
- Etcd：v3.3.9
- 服务器地址
- 192.168.10.210
- 192.168.10.213
- 192.168.10.214
所有服务器都需要执行以下命令来安装etcd和创建目录
1.下载etcd安装包并解压
2.拷贝程序到/usr/bin目录下方便执行，etcd为go编写，直接可运行，主要有两个文件etcd和ectdctl，wget https://github.com/coreos/etcd/releases/download/v3.3.9/etcd-v3.3.9-linux-amd64.tar.gztar -zxvf etcd-v3.3.9-linux-amd64.tar.gz
3.创建etcd配置文件目录/etc/etcd和数据存放目录/home/data/etcdmv etcd-v3.3.9-linux-amd64/etcd* /usr/bin/
mkdir -p /etc/etcd /home/data/etcd
三个node节点etcd配置文件分别如下
node1配置 ```bash vim /etc/etcd/etcd.conf name: ‘node1’ data-dir: /home/data/etcd
listen-peer-urls: http://192.168.10.210:2380 listen-client-urls: http://192.168.10.210:2379,http://127.0.0.1:2379
initial-cluster-state: ‘new’ initial-cluster-token: ‘etcd-cluster-conf’ advertise-client-urls: http://192.168.10.210:2379 initial-advertise-peer-urls: http://192.168.10.210:2380 initial-cluster: node1=http://192.168.10.210:2380,node2=http://192.168.10.213:2380,node3=http://192.168.10.214:2380
node2配置```bashvim /etc/etcd/etcd.confname: 'node2'data-dir: /home/data/etcdlisten-peer-urls: http://192.168.10.213:2380listen-client-urls: http://192.168.10.213:2379,http://127.0.0.1:2379initial-cluster-state: 'new'initial-cluster-token: 'etcd-cluster-conf'advertise-client-urls: http://192.168.10.213:2379initial-advertise-peer-urls: http://192.168.10.213:2380initial-cluster: node1=http://192.168.10.210:2380,node2=http://192.168.10.213:2380,node3=http://192.168.10.214:2380
node3配置
vim /etc/etcd/etcd.conf
name: 'node3'
data-dir: /home/data/etcd
listen-peer-urls: http://192.168.10.214:2380
listen-client-urls: http://192.168.10.214:2379,http://127.0.0.1:2379
initial-cluster-state: 'new'
initial-cluster-token: 'etcd-cluster-conf'
advertise-client-urls: http://192.168.10.214:2379
initial-advertise-peer-urls: http://192.168.10.214:2380
initial-cluster: node1=http://192.168.10.210:2380,node2=http://192.168.10.213:2380,node3=http://192.168.10.214:2380
每个节点配置完成后均启动
nohup /usr/bin/etcd --config-file /etc/etcd/etcd.conf &
三个节点全部启动完成后，可通过etcdctl member list命令查看集群列表，确认集群状态
etcdctl member list
313d911c11e320ac: name=node3 peerURLs=http://192.168.10.214:2380 clientURLs=http://192.168.10.214:2379 isLeader=false
47c13c3a3201f9e4: name=node1 peerURLs=http://192.168.10.210:2380 clientURLs=http://192.168.10.210:2379 isLeader=false
8a1c1c46ca40f2a2: name=node2 peerURLs=http://192.168.10.213:2380 clientURLs=http://192.168.10.213:2379 isLeader=true
Confd
1.下载confd并放到/usr/bin/目录下方便使用
wget https://github.com/kelseyhightower/confd/releases/download/v0.16.0/confd-0.16.0-linux-amd64
mv confd-0.16.0-linux-amd64 /usr/bin/confd
chmod +x /usr/bin/confd
2.新建confd配置文件目录
mkdir -p /etc/confd/{conf.d,templates}
3.新建资源文件，.toml文件结尾已经成了固定格式
vim /etc/confd/conf.d/nginx.conf.toml
[template]
src = "nginx.conf.tmpl"
dest = "/tmp/nginx.conf"
keys = [
"/conf/project/env/nginx/nginx.conf",
]
check_cmd = "/usr/sbin/nginx -t -c {{.src}}"
reload_cmd = "/usr/sbin/service nginx reload"
这里我们新建了一个nginx配置的资源文件，参数解释：
- src：指定模板文件的位置，也就是nginx配置文件模板tmpl的位置
- dest：指定最终生成或更新的配置文件绝对路径，这里为了测试我们给指定到/tmp/下
- keys：模板文件里边要用到的key，也就是etcd里边对应的这个项目配置文件的key
- check_cmd：在更新配置文件完成后执行的check命令，这里我们就check下nginx配置文件是否有语法错误
- reload_cmd：在check通过后可以执行这里配置的命令，上一步的check没有问题，就会执行reload命令重新加载配置文件
- prefix：配置key的前缀，例如我们的key都是以/conf开头的，那么可以增加个配置prefix=”/conf”，在下边keys里就可以省略掉/conf了
- owner：配置生成配置文件的用户
- mode：配置生成配置文件的权限
4.新建模板文件
vim /etc/confd/templates/nginx.conf.tmpl
{{getv "/conf/project/env/nginx/nginx.conf"}}
- confd的模板语法有很多，这里不赘述，具体可查官网
- 我们是把整个配置文件的内容作为一个value存在etcd里边的，所以这里只需要一个getv指令获取到value的值填充到目标文件就可以了
联调测试
部署好了etcd集群和confd服务，接下来我们就要测试下他们是否能够正常协同工作了
1.在Etcd服务器新建一个KV值 ```bash etcdctl set /conf/project/env/nginx/nginx.conf ‘user www-data; worker_processes 4;
pid /var/run/nginx.pid; error_log /home/logs/nginx/error.log warn;
events { use epoll; worker_connections 51200; }
http { default_type application/octet-stream;
server {
listen 80;
server_name domain.com;
root /home/project/webroot;
index index.shtml index.html;
}
}’
```bash
# 查看设置key的内容
etcdctl get /conf/project/env/nginx/nginx.conf
user www-data;
worker_processes 4;
pid /var/run/nginx.pid;
error_log /home/logs/nginx/error.log warn;
events {
use epoll;
worker_connections 51200;
}
http {
default_type application/octet-stream;
server {
listen 80;
server_name domain.com;
root /home/project/webroot;
index index.shtml index.html;
}
}
- Etcd API分v2和v3版本，两个版本差别较大，v3优化了很多，但考虑兼容性等问题我们这里使用v2版本
- 默认为v2版本，可以通过环境变量export ETCDCTL_API=3来切换到v3版本，v2通过etcdctl -v可以查看api版本，v3通过etcdctl version查看api版本
2.启动confd
confd -watch -backend etcd -node=http://192.168.10.210:2379 -node=http://192.168.10.213:2379 -node=http://192.168.10.214:2379
2020-03-30T17:19:38+08:00 localhost confd[19957]: INFO Backend set to etcd
2020-03-30T17:19:38+08:00 localhost confd[19957]: INFO Starting confd
2020-03-30T17:19:38+08:00 localhost confd[19957]: INFO Backend source(s) set to http://192.168.10.210:2379, http://192.168.10.213:2379, http://192.168.10.214:2379
2020-03-30T17:19:38+08:00 localhost confd[19957]: INFO Target config /tmp/nginx.conf out of sync
2020-03-30T17:19:38+08:00 localhost confd[19957]: INFO Target config /tmp/nginx.conf has been updated
配置参数说明
- -watch：开启watch模式，监听etcd配置中心文件变化，一旦有变这边立即更新，没有这个选项配置中心修改client不会更新
- -backend：后端类型，目前支持etcd、zookeeper、consul、vault、redis、file、rancher等多种类型，confd也有一些针对不通后端类型的单独配置，具体可以通过confd —help命令查看
- -node：etcd节点地址，有多个节点的话就这么写多个-node就好了，我们etcd是三个节点的集群所以这里写三次’-node’
- -onetime：可用来替换上边的-watch参数，表示运行一次就退出，如果你不想让配置文件实时更新，只是想更新一次，可以用这个参数
- -interval：可用来替换上边的-watch参数，表示每隔多少秒去backend取一次数据，如果想降低etcd服务器压力，又想让客户端配置文件能自动更新，可以通过这个参数来控制
3.通过上边日志可以看到/tmp/nginx.conf文件已经正常同步且更新了，查看/tmp/nginx.conf确定内容正确
若有收获，就点个赞吧
0 人点赞
