1）准备3台客户机（关闭防火墙、静态IP、主机名称）
关闭防火墙，关闭防火墙开机自启
[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld.service
配通外网

  1. 使用ipconfig 查看本机IP
  2. 打开虚拟网络编辑器将VMnet8 NAT设置为跟主机一样
  3. 编辑 vim /etc/sysconfig/network-scripts/ifcfg-ens33
  4. reboot

主机名称
编辑 vim /etc/hostname
配置Linux克隆机主机名称映射hosts文件，
打开/etc/hosts
[root@hadoop100 ~]# vim /etc/hosts
添加如下内容
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108
4）重启克隆机hadoop102
[root@hadoop100 ~]# reboot
5）修改windows的主机映射文件（hosts文件）
（1）如果操作系统是window7，可以直接修改
（a）进入C:\Windows\System32\drivers\etc路径
（b）打开hosts文件并添加如下内容，然后保存
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
（2）如果操作系统是window10，先拷贝出来，修改保存以后，再覆盖即可
（a）进入C:\Windows\System32\drivers\etc路径
（b）拷贝hosts文件到桌面
（c）打开桌面hosts文件并添加如下内容
192.168.1.100 hadoop100
192.168.1.101 hadoop101
192.168.1.102 hadoop102
192.168.1.103 hadoop103
192.168.1.104 hadoop104
192.168.1.105 hadoop105
192.168.1.106 hadoop106
192.168.1.107 hadoop107
192.168.1.108 hadoop108
（d）将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文件

2）安装JDK
1）卸载现有JDK
注意：如果你的虚拟机是最小化安装不需要执行这一步。
[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e —nodeps
Ø rpm -qa：查询所安装的所有rpm软件包
Ø grep -i：忽略大小写
Ø xargs -n1：表示每次只传递一个参数
Ø rpm -e –nodeps：强制卸载软件
2）安装 yum install lrzsz 使用：rz,sz 将jar包导入相对的路径下
3）在Linux系统下的opt目录中查看软件包是否导入成功
[atguigu@hadoop102 ~]$ ls /opt/software/
看到如下结果：
jdk-8u212-linux-x64.tar.gz
4）解压JDK到/opt/module目录下
[atguigu@hadoop102 software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
5）配置JDK环境变量
（1）新建/etc/profile.d/my_env.sh文件
[atguigu@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh
添加如下内容
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
（3）source一下/etc/profile文件，让新的环境变量PATH生效
[atguigu@hadoop102 ~]$ source /etc/profile
6）测试JDK是否安装成功
[atguigu@hadoop102 ~]$ java -version
如果能看到以下结果，则代表Java安装成功。
java version “1.8.0_212”

3）安装Hadoop
2）进入到Hadoop安装包路径下
[atguigu@hadoop102 ~]$ cd /opt/software/
3）解压安装文件到/opt/module下面
[atguigu@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
4）查看是否解压成功
[atguigu@hadoop102 software]$ ls /opt/module/hadoop-3.1.3
5）将Hadoop添加到环境变量
（1）获取Hadoop安装路径
[atguigu@hadoop102 hadoop-3.1.3]$ pwd /opt/module/hadoop-3.1.3
（2）打开/etc/profile.d/my_env.sh文件
[atguigu@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh
Ø 在my_env.sh文件末尾添加如下内容：（shift+g）
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
Ø 保存并退出：:wq
（3）让修改后的文件生效
[atguigu@hadoop102 hadoop-3.1.3]$ source /etc/profile
6）测试是否安装成功
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3

3）编写xsync集群分发脚本
（a）在/home/atguigu/bin目录下创建xsync文件
[atguigu@hadoop102 opt]$ cd /home/atguigu
[atguigu@hadoop102 ~]$ mkdir bin
[atguigu@hadoop102 ~]$ cd bin
[atguigu@hadoop102 bin]$ vim xsync

  1. #!/bin/bash
  3. #1. 判断参数个数
  4. if [ $# -lt 1 ]
  5. then
  6. echo Not Enough Arguement!
  7. exit;
  8. fi
  10. #2. 遍历集群所有机器
  11. for host in hadoop102 hadoop103 hadoop104
  12. do
  13. echo ====================  $host  ====================
  14. #3. 遍历所有目录，挨个发送
  16. for file in $@
  17. do
  18. #4. 判断文件是否存在
  19. if [ -e $file ]
  20. then
  21. #5. 获取父目录
  22. pdir=$(cd -P $(dirname $file); pwd)
  24. #6. 获取当前文件的名称
  25. fname=$(basename $file)
  26. ssh $host "mkdir -p $pdir"
  27. rsync -av $pdir/$fname $host:$pdir
  28. else
  29. echo $file does not exists!
  30. fi
  31. done
  32. done

（b）修改脚本 xsync 具有执行权限
[atguigu@hadoop102 bin]$ chmod +x xsync
（c）测试脚本
[atguigu@hadoop102 ~]$ xsync /home/atguigu/bin
（d）将脚本复制到/bin中，以便全局调用
[atguigu@hadoop102 bin]$ sudo cp xsync /bin/
（e）同步环境变量配置（root所有者）
[atguigu@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh
注意：如果用了sudo，那么xsync一定要给它的路径补全。
让环境变量生效
[atguigu@hadoop103 bin]$ source /etc/profile
[atguigu@hadoop104 opt]$ source /etc/profile

4）配置集群
（1）核心配置文件
配置core-site.xml
[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim core-site.xml
文件内容如下：




fs.defaultFS
hdfs://hadoop102:8020



hadoop.tmp.dir
/opt/module/hadoop-3.1.3/data



hadoop.http.staticuser.user
atguigu


（2）HDFS配置文件
配置hdfs-site.xml
[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml
文件内容如下：



dfs.namenode.http-address
hadoop102:9870



dfs.namenode.secondary.http-address
hadoop104:9868


（3）YARN配置文件
配置yarn-site.xml
[atguigu@hadoop102 hadoop]$ vim yarn-site.xml
文件内容如下：



yarn.nodemanager.aux-services
mapreduce_shuffle



yarn.resourcemanager.hostname
hadoop103



yarn.nodemanager.env-whitelist
JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME


（4）MapReduce配置文件
配置mapred-site.xml
[atguigu@hadoop102 hadoop]$ ：vim mapred-site.xml
文件内容如下：



mapreduce.framework.name
yarn


4）在集群上分发配置好的Hadoop配置文件
[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

5）集群启动/停止方式总结

（1）整体启动/停止HDFS

  1.            ** start-dfs.sh/stop-dfs.sh**<br />    （2）整体启动/停止YARN<br />                 **start-yarn.sh/stop-yarn.sh**<br />**2）各个服务组件逐一启动/停止**<br />    （1）分别启动/停止HDFS组件<br />**hdfs --daemon start/stop namenode/datanode/secondarynamenode**<br />    （2）启动/停止YARN<br />**yarn --daemon start/stop  resourcemanager/nodemanager**

6）配置ssh
（2）生成公钥和私钥
[atguigu@hadoop102 .ssh]$ pwd
/home/atguigu/.ssh
[atguigu@hadoop102 .ssh]$ ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
（3）将公钥拷贝到要免密登录的目标机器上
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop102
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop103
[atguigu@hadoop102 .ssh]$ ssh-copy-id hadoop104

7）群起并测试集群

8）编写Hadoop集群常用脚本
1）Hadoop集群启停脚本（包含HDFS，Yarn，Historyserver）：myhadoop.sh
[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim myhadoop.sh
输入如下内容
#!/bin/bash

if [ $# -lt 1 ]
then
echo “No Args Input…”
exit ;
fi

case $1 in
“start”)
echo “ =================== 启动 hadoop集群 ===================”

echo “ ———————- 启动 hdfs ———————-“
ssh hadoop102 “/opt/module/hadoop-3.1.3/sbin/start-dfs.sh”
echo “ ———————- 启动 yarn ———————-“
ssh hadoop103 “/opt/module/hadoop-3.1.3/sbin/start-yarn.sh”
echo “ ———————- 启动 historyserver ———————-“
ssh hadoop102 “/opt/module/hadoop-3.1.3/bin/mapred —daemon start historyserver”
;;
“stop”)
echo “ =================== 关闭 hadoop集群 ===================”

echo “ ———————- 关闭 historyserver ———————-“
ssh hadoop102 “/opt/module/hadoop-3.1.3/bin/mapred —daemon stop historyserver”
echo “ ———————- 关闭 yarn ———————-“
ssh hadoop103 “/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh”
echo “ ———————- 关闭 hdfs ———————-“
ssh hadoop102 “/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh”
;;
)
echo “Input Args Error…”
;;
esac
Ø 保存后退出，然后赋予脚本执行权限
[atguigu@hadoop102 bin]$ chmod +x myhadoop.sh
2）查看三台服务器Java进程脚本：jpsall
[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ *vim jpsall
Ø 输入如下内容
#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
echo =============== $host ===============
ssh $host jps
done
Ø 保存后退出，然后赋予脚本执行权限
[atguigu@hadoop102 bin]$ chmod +x jpsall
3）分发/home/atguigu/bin目录，保证自定义脚本在三台机器上都可以使用
[atguigu@hadoop102 ~]$ xsync /home/atguigu/bin/