环境准备

  • 三个节点

hadoop102 192.168.110.12
hadoop103 192.168.110.13
hadoop104 192.168.110.14

注意：每个节点的基础环境都要先配置好，先把ip、hostname、fifirewalld、ssh免密码登录、JDK
这些基础环境配置好

安装Hadoop

解压

  1. tar -zxvf hadoop-3.2.0.tar.gz -C /opt/module

修改相关配置

  • 进入配置文件所在目录：hadoop-3.2.0/etc/hadoop/

  • 修改hadoop-env.sh，在文件末尾增加环境变量

    1. export JAVA_HOME=/opt/module/jdk1.8.0_212
    2. export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop

  • 修改core-site.xml，注意fs.defaultFS属性中的主机名需要与主节点的主机名保持一致

    1. <configuration>
    2. <property>
    3. <name>fs.defaultFS</name>
    4. <value>hdfs://hadoop102:9000</value>
    5. </property>
    6. <property>
    7. <name>hadoop.tmp.dir</name>
    8. <value>/data/hadoop_repo</value>
    9. </property>
    10. </configuration>

  • 修改hdfs-site.xml，hdfs文件副本数量设置为2，secondaryNameNode进场所在的节点信息

    1. <configuration>
    2. <property>
    3. <name>dfs.replication</name>
    4. <value>2</value>
    5. </property>
    6. <property>
    7. <name>dfs.namenode.secondary.http-address</name>
    8. <value>hadoop102:50090</value>
    9. </property>
    10. </configuration>

  • 修改mapred-site.xml，设置mapreduce适用的资源调度框架

    1. <configuration>
    2. <property>
    3. <name>mapreduce.framework.name</name>
    4. <value>yarn</value>
    5. </property>
    6. </configuration>

  • 修改yarn-site.xml，yarn上支持运行的服务和环境变量白名单

    1. <configuration>
    2. <property>
    3. <name>yarn.nodemanager.aux-services</name>
    4. <value>mapreduce_shuffle</value>
    5. </property>
    6. <property>
    7. <name>yarn.nodemanager.env-whitelist</name>
    8. <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    9. </property>
    10. <property>
    11. <name>yarn.resourcemanager.hostname</name>
    12. <value>hadoop102</value>
    13. </property>
    14. </configuration>

  • 修改从节点 ```bash vim workers

hadoop103 hadoop104

  2. - 修改启动脚本
  4. 修改 start-dfs.sh ， stop-dfs.sh 这两个脚本文件，在文件前面增加如下内容
  5. ```bash
  6. HDFS_DATANODE_USER=root
  7. HDFS_DATANODE_SECURE_USER=hdfs
  8. HDFS_NAMENODE_USER=root
  9. HDFS_SECONDARYNAMENODE_USER=root

修改 start-yarn.sh ， stop-yarn.sh 这两个脚本文件，在文件前面增加如下内容

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

同步配置到其他子节点

 scp -rq hadoop-3.2.0 hadoop103:/opt/module
 scp -rq hadoop-3.2.0 hadoop104:/opt/module

格式化HDFS

./bin/hdfs namenode -format

启动集群

./sbin/start-all.sh

验证集群

jps查看启动节点进程