:::info 💡 根据 遗忘曲线：如果没有记录和回顾，6天后便会忘记75%的内容

  读书笔记正是帮助你记录和回顾的工具，不必拘泥于形式，其核心是：记录、翻看、思考

:::

1.编写集群分发脚本xsync

1.1scp（secure copy）安全拷贝

1. scp定义

2. scp基本语法：

scp -r $pdir/$fname $user@$host:$pdir/$fname

命令 递归 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

3. 案例实操

1. 在hadoop102、hadoop103、hadoop104都已经创建好的/opt/module、/opt/software两个目录，并且已经把这两个目录归属修改为lsj:lsj

3.在其他三台虚拟机上，拷贝adoop100中/opt/module/hadoop-3.1.3目录。执行命令时需要输入要连接主机的用户密码：

1.2 rsync远程同步工具

rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

rsync（remote synchronize）remote synchronize是一个远程数据同步工具。可通过LAN\WAN快速同步不同主机上的文件或目录；也可以使用rsync同步本地硬盘中的不同文件或目录。无论是使用rsync进行本地同步还是远程同步，首次运行时将会把全部文件复制一次，以后再运行时将只复制有变化的文件（对于新文件）或文件的变化部分（对于原文件）。这正是rsync的优势所在。

在使用rsync进行远程同步时，可以使用如下两种方式：

远程Shell方式：可以使用rsh、ssh等。默认使用ssh，即用户验证由ssh负责。

C\S方式：客户连接远程rsync服务器，用户验证由rsync服务器负责，rsync服务器也可配置为匿名访问。访问rsync服务器时，可使用URL(rsync://host)的形式。

rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

1. 基本语法：

rsync -av $pdir/$fname $user@$host:$pdir/$fname

命令 选项参数 要拷贝的文件路径/名称 目的地用户@主机:目的地路径/名称

2.案例实操

1. 删除hadoop103中/opt/module/hadoop-3.1.3/wcinput

1. 同步hadoop102中的/opt/module/hadoop-3.1.3到hadoop103

1.3 xsync集群分发脚本

1. 需求：循环复制文件到所有节点的相同目录下
2. 需求分析：rsync命令原始拷贝：

rsync -av /opt/module username@hostname:/opt/

1. 期望脚本：xsync要同步的文件名称
2. 期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）

1. 脚本实现
   a. 在/home/li/bin目录下创建xsync文件

 d. <font style="color:rgb(77, 77, 77);">测试脚本</font>

e. 将脚本复制到/bin中，以便全局调用

f.同步环境变量配置（root所有者）

g.让环境变量生效

1.4 SSH无密登录配置

SSH是一种协议标准，是用在安全远程登录以及其它安全网络服务。

SSH协议SSH协议与telnet、ftp等协议主要的区别在于安全性。这就引出下一个问题：如何实现数据的安全呢？首先想到的实现方案肯定是对数据进行加密。加密的方式主要有两种：

对称加密（也称为密钥加密）

非对称加密（也称公钥加密）

对称加密原理：指加密解密使用同一套密钥。对称加密的加密强度高，很难破解。

但是在实际应用过程中不得不面临一个棘手的问题：如何安全的保存密钥呢？尤其是考虑到数量庞大的Client端，很难保证密钥不被泄露。一旦一个Client端的密钥被窃据，那么整个系统的安全性也就不复存在。为了解决这个问题，非对称加密应运而生。

非对称加密工作原理：

(服务器建立公钥： 每一次启动 sshd 服务时，该服务会查找 /etc/ssh/ssh_host* 的文件，若系统刚刚安装完成时，由于没有这些公钥，因此 sshd 会主动去计算出这些需要的公钥，同时也会计算出服务器需要的私钥。)

客户端主动联机请求： 若客户端想要联机到 ssh 服务器，则需要使用适当的客户端程序来联机，包括 ssh, putty 等客户端程序连接。

服务器传送公钥给客户端： 接收到客户端的要求后，服务器便将第一个步骤取得的公钥传送给客户端使用 (此时应是明码传送，反正公钥本来就是给大家使用的)。

客户端记录并比对服务器的公钥数据及随机计算自己的公私钥： 若客户端第一次连接到此服务器，则会将服务器的公钥记录到客户端的用户家目录内的 ~/.ssh/known_hosts 。若是已经记录过该服务器的公钥，则客户端会去比对此次接收到的与之前的记录是否有差异。若接受此公钥， 则开始计算客户端自己的公私钥。

回传客户端的公钥到服务器端： 用户将自己的公钥传送给服务器。此时服务器：具有服务器的私钥与客户端的公钥，而客户端则是： 具有服务器的公钥以及客户端自己的私钥，你会看到，在此次联机的服务器与客户端的密钥系统 (公钥+私钥) 并不一样，所以才称为非对称加密系统。

开始双向加解密：

a. 服务器到客户端：服务器传送数据时，拿用户的公钥加密后送出。客户端接收后，用自己的私钥解密;

b.客户端到服务器：客户端传送数据时，拿服务器的公钥加密后送出。服务器接收后，用服务器的私钥解密，这样就能保证通信安全。

非对称加密有两个密钥：“公钥”和“私钥”。公钥加密后的密文，只能通过对应的私钥进行解密。而通过公钥推理出私钥的可能性微乎其微。

这样就一定安全了吗？

上述流程会有一个问题：Client端如何保证接受到的公钥就是目标Server端的？如果一个攻击者中途拦截Client的登录请求，向其发送自己的公钥，Client端用攻击者的公钥进行数据加密。攻击者接收到加密信息后再用自己的私钥进行解密，不就窃取了Client的登录信息了吗？这就是所谓的”中间人攻击”

从上面的描述可以看出，问题就在于如何对Server的公钥进行认证？在https中可以通过CA来进行公证，可是SSH的公钥和密钥都是自己生成的，没法公证。只能通过Client端自己对公钥进行确认。

SHH是基于口令的认证等方法解决的这个问题的。

STelnet也是一个远程连接的技术，可以这样理解：远程连接以前用的是Telnet,但是通过发展，发现它的安全性堪忧，所以在它的基础上做了加密，这个加密是双向加密的，但是安全性也没有说级别特别高。所以，我们就把他理解成电动车外面扣了个罩子，变成老年代步车，比电动车安全一点，但是上高速，就别想了！安全性高的是SHH，现在的远程连接基本用SHH，他是一个双向加密，我的理解是第一次的连接是不能保证安全的，但双向连接建立了后面就安全了，所以它的安全性并不是很好的，同理，因为计算机里存的有证书，只要证书不失效，是可以认证安全性的，当然，证书也有伪造的。总之一句话：没有绝对的安全。

1.4.1 配置ssh

ssh hadoop103

Are you sure you want to continue connecting (yes/no)?

1.4.2 无密钥配置

1.免密登录原理

2.生成私钥和公钥

3.将公钥拷贝到要免密登录的目标机器，并验证是否成功。

注意：

还需要在hadoop103上采用li账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

还需要在hadoop104上采用li账号配置一下无密登录到hadoop102、hadoop103、hadoop104服务器上。

还需要在hadoop102上采用root账号，配置一下无密登录到hadoop102、hadoop103、hadoop104；