1.什么Zookeeper
在了解Zookeeper之前，需要对分布式知识有一定的了解，什么是分布式系统呢？通常情况下，单个物理节点很容易达到性能，计算或者容量的瓶颈，所以这个时候就需要多个物理节点来共同完成某项任务，一个分布式系统的本质就是分布在不同计算机或者网络上的程序组件，彼此通过信息传递协同工作的系统，而Zookeeper正是一个分布式应用协调框架，在分布式系统中有着广泛的应用。
官方文档上是这么解释Zookeeper，他是一个分布式协调框架，是Apache Hadoop 的一个子项目，他主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务，状态同步服务，集群管理，分布式应用配置等。
2.Zookeeper的核心概念
上面有点抽象，主要理解为Zookeeper用于储存少量数据的基于内存数据库，主要有如下两个核心概念：文件系统数据结构+监听通知机制。
2.1文件系统数据结构
Zookpper维护了一个类似于文件系统的数据结构
每个子目录都被称作为zone（目录节点），和文件系统类似，我们能够自由的增加、删除znode，在zonde下增加、删除节点
有四种类型的znode：
PERSISTENT-持久化节点
客户端与Zookeeper断开连接以后，该节点依旧存在，只要不动手删除该节点，它将永远存在
2.PERSISTENT_SEQUENTIAL-持久化顺序编号目录节点
客户端与zookeeper断开连接以后，该节点依旧存在，只是zookeeper给该节点名称经行顺序编号3.EPHEMERAL-临时节点
客户端与zookeeper断后连接以后，改节点被删除4.EPHEMERAL_SEQUENTIAL-临时顺序编号目录节点
客户端与zookeeper断开连接后，该节点被删除，只是Zookeeper给该节点名称进行顺序编号Container 节点（3.5.3 版本新增，如果Container节点下面没有子节点，则Container节点在未来会被Zookeeper自动清除,定时任务默认60s 检查一次）
TTL 节点( 默认禁用，只能通过系统配置 zookeeper.extendedTypesEnabled=true 开启，不稳定)
2.2 监听通知机制
客户端注册监听它关心的任意节点、或者目录节点及递归子目录节点
- 如果注册的是某个节点的监听，则当该节点被删除，或者被修改，对应的客户将被通知
- 如果注册的是某个目录的监听，则当这个目录有子节点创建时，或者有子节点被删除，对应的客户端将被通知
- 如果注册的时对某个目录的递归子节点进行监听，则当这个目录下面的任意节点的结构目录变化（有子节点创建，或者删除）或者根节点有所变化，对应的节点有所通知
注意：所有的通知都是一次性的，无论对节点还是目录经行监听，一旦触发。对应的监听即被移除。递归子节点，监听的时所有子节点，所以每个子节点下面的事件通过只会出发一次。
2.3 Zookeeper 经典应用场景
3.1zookpper 安装
step1：配置java环境，检查环境
java -version
step2：下载解压Zookpeepr
wget https://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gztar -zxvf apache-zookeeper-3.5.8-bin.tar.gzcd apache-zookeeper-3.5.8-bin
step：3 重命名文件zoo_sample.cfg
cp zoo_sample.cfg zoo.cfg
setp: 4 启动zookeeper
#可以通过 bin/zkServer.sh 来查看都支持那些参数bin/zkServer.sh start conf/zoo.cof
setp: 5 检车是否启动成功
echo stat | nc 192.168.18.129：2181
如：
4lw.commands.whitelist=stat
step：6 连接服务器
bin/zkCli.sh -server ip:port
3.2 使用命令行操作zookeeper
输入help查看zookpeer所支持的所有命令：
[zk: 192.168.18.129:2181(CONNECTED) 1] help
ZooKeeper -server host:port cmd args
addauth scheme auth
close
config [-c] [-w] [-s]
connect host:port
create [-s] [-e] [-c] [-t ttl] path [data] [acl]
delete [-v version] path
deleteall path
delquota [-n|-b] path
get [-s] [-w] path
getAcl [-s] path
history
listquota path
ls [-s] [-w] [-R] path
ls2 path [watch]
printwatches on|off
quit
reconfig [-s] [-v version] [[-file path] | [-members serverID=host:port1:port2;port3[,...]*]] | [-add serverId=host:port1:port2;port3[,...]]* [-remove serverId[,...]*]
redo cmdno
removewatches path [-c|-d|-a] [-l]
rmr path
set [-s] [-v version] path data
setAcl [-s] [-v version] [-R] path acl
setquota -n|-b val path
stat [-w] path
sync path
Command not found: Command not found help
[zk: 192.168.18.129:2181(CONNECTED) 2]
1.创建zookeeper节点命令
create [-s] [-e] [-c] [-t ttl] path [data] [acl]
括号中为可选项，没有则默认创建持久化节点
-s：顺序节点
-e：临时节点
-c: 容器节点
-t: 可以给节点添加过期时间，默认禁止，所以要通过参数启动
（-Dzookeeper.extendedTypesEnabled=true, znode.container.checkIntervalMs : (Java system property only) New in 3.5.1: The time interval in milliseconds for each check of candidate container and ttl nodes. Default is “60000”.）
创建节点
craete /test_node some_data
如果没有任何参数，就是创建的持久化节点
查看节点数据
修改节点数据
查看节点状态信息：
stat /test_node/node_02
Stat
- cZxid：创建znode的事务ID（Zxid的值）
- mZxid：最后修改znode的事务ID
- pZxid：最后添加或删除子节点的事务ID
- ctime：znode创建时间
- mtime：最近修改时间
- dataVersion：zonde的当前数据版本
- cversion：znode的子节点结果集版本（一个节点的子节点增加、删除都不会影响这个版本）
- aclVersion：表述对此znode的acl版本
- ephemeralOwner：zonde时临时节点时，表示znode所有者的seesion ID。如果zonde不是临时znode，则该字段设置为0
- dataLength：zonde数据字段的长度
- numChilren：znode的子znode的数量
查看节点状态信息同时查看数据
根据状态数据中的版本号有并发修改数据实现乐观锁功能
比如：客户端首先获得版本号信息，get -s /test_node
/test_node 当前的版本号时0，这时客户端用set命令修改数据的时候把版本号带上
如果在上面执行set命令前，有人修改数据，zookeeper会递增版本号，这个时候，如果再用以前的版本号去修改
，将会导致修改失败，报如下错误
创建子节点， 这里要注意，zookeeper是以节点组织数据的，没有相对路径这么一说，所以，所有的节点一定是以 / 开头。
create /test-node/test-sub-node
查看子节点信息，比如根节点下面的所有子节点， 加一个大写 R 可以查看递归子节点列表
创建一个临时节点
create -e /ephemeral data
create 后跟一个-e创建一个临时节点，临时节点不能创建一个子节点
创建序号节点，加个参数-s
create /seq-parent data // 创建父目录，单纯为了分类，非必须
create -s /seq-parent/ data // 创建顺序节点。顺序节点将再seq-parent 目录下面，顺序递增
创建临时节点，,其它增删查改和其他节点无异，
create -s -e /ephemeral-node/前缀-
容器节点
create -c /container
容器节点主要用来容纳子节点，如果没有给其他创建子节点，容器节点跟持久化节点一样，如果给容器创建了子节点，后续有给子节点清空，容器节点也会被zookeeper删除
2.事件监听机制
针对节点监听：一次时间出发，对应的注册立刻被移除，所以事件监听是一次性的
get -w /path //注册监听同时获取数据
stat -w /path //对节点进行监听，并获取元数据信息
针对目录的监听，如下图，目录的变化，会触发事件，且一旦触发，对应的监听也会被移除，后续对节点的创建没有出发监听事件
ls -w /path
针对递归子目录监听
ls -R -w /path ： -R 区分大小写，一定用大写
如对/test节点进行递归监听，但是每个目录下的目录监听也是一次的，如每一次在/test目录下创建节点时，触发监听事件，第二次则没有，同样，因为时递归的目录监听，所以在/test/sub0下进行节点创建时，触发事件，但是再次创建/test/sub0/subsub1节点时，没有触发事件
Zookeeper事件类型
- node：连接建立事件
- nodeCreate：节点创建
- NodeDeleted：节点删除
- NodeDataChanged：节点数据变化
- NodeChildrenChanged: 子节点列表变化
- DataWatchRemoved：节点监听被移除
-
4.Zookeeper的ACL权限控制（Access Control List）
Zookper的ACL权限控制，可以控制节点的读写操作，保证数据的安全行，Zookeeper ACL权限分为3部分组成，分别是：权限模式（Scheme）、授权对象（ID）、授权信息（Permission）。最终组成一条列如“sheme：id：perimssion”格式的ACL请求信息。下面我们具体看一下这3个部分代表啥：
Scheme（权限模式）：
用来设置Zookeeper服务器经行权限验证的方式，Zookeeper的权限验证方式大体分为两种类型：
- 一种时范围验证：所谓范围u=验证就是说Zookeeper可以针对一个IP或者IP地址授予某种权限，比如比如我们可以让一个 IP 地址为“ip：192.168.0.110”的机器对服务器上的某个数据节点具有写入的权限。或者也可以通过“ip:192.168.0.1/24”给一段 IP 地址的机器赋权。
- 另一种权限模式就是口令验证，也可以理解为用户名密码的方式。在 ZooKeeper 中这种验证方式是 Digest 认证，而 Digest 这种认证方式首先在客户端传送“username:password”这种形式的权限表示符后，ZooKeeper 服务端会对密码 部分使用 SHA-1 和 BASE64 算法进行加密，以保证安全性。
- 还有一种Super权限模式, Super可以认为是一种特殊的 Digest 认证。具有 Super 权限的客户端可以对 ZooKeeper 上的任意数据节点进行任意操作。
- 授权对象（ID）
授权对象就是说我们要把权限赋予谁，而对应于 4 种不同的权限模式来说，如果我们选择采用 IP 方式，使用的授权对象可以是一个 IP 地址或 IP 地址段；而如果使用 Digest 或 Super 方式，则对应于一个用户名。如果是 World 模式，是授权系统中所有的用户。
- 权限信息（Permission）
权限就是指我们可以在数据节点上执行的操作种类，如下所示：在 ZooKeeper 中已经定义好的权限有 5 种：
数据节点（c: create）创建权限，授予权限的对象可以在数据节点下创建子节点；
数据节点（w: wirte）更新权限，授予权限的对象可以更新该数据节点；
数据节点（r: read）读取权限，授予权限的对象可以读取该节点的内容以及子节点的列表信息；
数据节点（d: delete）删除权限，授予权限的对象可以删除该数据节点的子节点；
数据节点（a: admin）管理者权限，授予权限的对象可以对该数据节点体进行 ACL 权限设置。
命令：
getAcl：获取某个节点的acl权限信息
setAcl：设置某个节点的权限信息
addauth：输入认证授权信息，相当于注册用户信息，注册时输入明文密码，zk经义密文的形式存储
可以通过系统参数zookeeper.skipACL=yes进行配置，默认时no，可以配置成true，则配置过的ACL将不再经行权限检测
生成授权ID的两种方式：
a.代码生成ID：
@Test
public void generateSuperDigest() throws NoSuchAlgorithmException {
String sId = DigestAuthenticationProvider.generateDigest("gj:test");
System.out.println(sId);// gj:X/NSthOB0fD/OT6iilJ55WJVado=
}
b.在xshell中生成
echo -n <user>:<password> | openssl dgst -binary -sha1 | openssl base64
设置ACL的两种方式
节点创建的同时设置ACL
create [-s] [-e] [-c] patch [data] [acl]
create /test_node_test data digest:user:JZc3MmM2qcanam5xsNjf3qsyjSg=:crwa
或者用setACL设置
setAcl /test_node_test data digest:user:JZc3MmM2qcanam5xsNjf3qsyjSg=:crwa
天授权以后不能直接访问，直接访问会报异常
访问签需要添加授权信息
addauth digest user:user01
get /test_node_test
另一种授权模式： auth 明文授权
使用之前需要先
addauth digest username:password 注册用户信息，后续可以直接用明文授权
如
addauth digest u100:p100
create /node-1 node1data auth:u100:p100:cdwra
这是u100用户授权信息会被zk保存，可以认为当前的授权用户为u100
get /node-1
node1data
IP授权模式：
setAcl /node-ip ip:192.168.109.128:cdwra
create /node-ip data ip:192.168.109.128:cdwra
多个指定IP可以通过逗号分隔， 如 setAcl /node-ip ip:IP1:rw,ip:IP2:a
Super 超级管理员模式
这是一种特殊的Digest模式， 在Super模式下超级管理员用户可以对Zookeeper上的节点进行任何的操作。
需要在启动了上通过JVM 系统参数开启：
DigestAuthenticationProvider中定义
-Dzookeeper.DigestAuthenticationProvider.superDigest=super:<base64encoded(SHA1(password))
5.Zookeeper 内存数据和持久化
Zookeeper数据的组织形式为一个类似文件系统的数据结构，而这些数据结构都是储存在内存中的，所以我们可以认为，Zookeeper是一个基于内存的小型数据库
内存中的数据：
public class DataTree {
private final ConcurrentHashMap<String, DataNode> nodes =
new ConcurrentHashMap<String, DataNode>();
private final WatchManager dataWatches = new WatchManager();
private final WatchManager childWatches = new WatchManager();
DataNode 是Zookeeper存储节点数据的最小单位
public class DataNode implements Record {
byte data[];
Long acl;
public StatPersisted stat;
private Set<String> children = null;
事务日志
针对每一次客户端的事务操作，Zookeeper都会将他们记录到事务日志中去，当然，Zookeeper也将数据变更应用到内存数据库中。我们可以在Zookeeper的主配置文件zoo.conf中配置内存中的持久化数据目录，也就是事务日志的路径dataLogDir，如果没有配置zookeeper提供格式化工具进行数据查看日志数据
org.apache.zookeeper.server.LogFormatter
java -classpath .:slf4j-api-1.7.25.jar:zookeeper-3.5.8.jar:zookeeper-jute-3.5.8.jar org.apache.zookeeper.server.LogFormatter /usr/local/zookeeper/apache-zookeeper-3.5.8-bin/data/version-2/log.1
如下是我本地的日志文件格式化效果
如下是我本地的日志文件格式化效果
从左到右分别记录了操作时间，客户端会话ID，CXID,ZXID,操作类型，节点路径，节点数据（用#+ascii 码表示），节点版本。
Zookeeper进行事务日志文件操作的时候会频繁进行磁盘IO操作，事务日志的不断追加写操作会触发底层磁盘IO为文件开辟新的磁盘块，即磁盘Seek。因此，为了提升磁盘IO的效率，Zookeeper在创建事务日志文件的时候就进行文件空间的预分配- 即在创建文件的时候，就向操作系统申请一块大一点的磁盘块。这个预分配的磁盘大小可以通过系统参数 zookeeper.preAllocSize 进行配置。
事务日志文件名为： log.<当时最大事务ID>，应为日志文件时顺序写入的，所以这个最大事务ID也将是整个事务日志文件中，最小的事务ID，日志满了即进行下一次事务日志文件的创建
数据快照
数据快照用于记录Zookeeper服务器上某一时刻的全量数据，并将其写入到指定的磁盘文件中。
可以通过配置snapCount配置每间隔事务请求个数，生成快照，数据存储在dataDir 指定的目录中，
可以通过如下方式进行查看快照数据（ 为了避免集群中所有机器在同一时间进行快照，实际的快照生成时机为事务数达到 [snapCount/2 + 随机数(随机数范围为1 ~ snapCount/2 )] 个数时开始快照）
java -classpath .:slf4j-api-1.7.25.jar:zookeeper-3.5.8.jar:zookeeper-jute-3.5.8.jar org.apache.zookeeper.server.SnapshotFormatter /usr/local/zookeeper/apache-zookeeper-3.5.8-bin/data-dir/version-2/snapshot.0
快照事务日志文件名为： snapshot.<当时最大事务ID>，日志满了即进行下一次事务日志文件的创建
有了事务日志，为啥还要快照数据。
快照数据主要时为了快速恢复，事务日志文件是每次事务请求都会进行追加的操作，而快照是达到某种设定条件下的内存全量数据。所以通常快照数据是反应当时内存数据的状态。事务日志是更全面的数据，所以恢复数据的时候，可以先恢复快照数据，再通过增量恢复事务日志中的数据即可。
若有收获，就点个赞吧
0 人点赞
