解压

  1. [root@hadoop01 software]# tar -zxvf hadoop-2.7.7.tar.gz -C /opt/module

配置环境变量

编辑 profile 文件：

  1.  vim /etc/profile

增加如下配置：

  1. # Hadoop
  2. export HADOOP_HOME=/opt/module/hadoop-2.7.7
  3. export PATH=${HADOOP_HOME}/bin:$PATH

执行 source 命令，使得配置立即生效：

  1. source /etc/profile

修改配置

进入 ${HADOOP_HOME}/etc/hadoop 目录下，修改配置文件。各个配置文件内容如下：

hadoop-env.sh

即使在 /etc/profile 配置，这里也要配置一遍，否则启动HDFS时会报错找不到 JAVA_HOME 

  1. # 指定JDK的安装位置
  2. export JAVA_HOME=/opt/module/jdk1.8.0_241

core-site.xml

  1. <configuration>
  2.     <property>
  3.         <!-- 指定 namenode 的 hdfs 协议文件系统的通信地址 -->
  4.         <name>fs.defaultFS</name>
  5.         <value>hdfs://node01:8020</value>
  6.     </property>
  7.     <property>
  8.         <!-- 指定 hadoop 集群存储临时文件的目录 -->
  9.         <name>hadoop.tmp.dir</name>
  10.         <value>/data/hadoop/tmp</value>
  11.     </property>
  12.     <property>
  13.         <!-- ZooKeeper 集群的地址 -->
  14.         <name>ha.zookeeper.quorum</name>
  15.         <value>node01:2181,node02:2181,node03:2181,node04:2181,node05:2181</value>
  16.     </property>
  17.     <property>
  18.         <!-- ZKFC 连接到 ZooKeeper 超时时长 -->
  19.         <name>ha.zookeeper.session-timeout.ms</name>
  20.         <value>10000</value>
  21.     </property>
  22. </configuration>

hdfs-site.xml

  1. <configuration>
  2.     <property>
  3.         <!-- 指定 HDFS 副本的数量 -->
  4.         <name>dfs.replication</name>
  5.         <value>3</value>
  6.     </property>
  7.     <property>
  8.         <!-- namenode 节点数据（即元数据）的存放位置，可以指定多个目录实现容错，多个目录用逗号分隔 -->
  9.         <name>dfs.namenode.name.dir</name>
  10.         <value>file:///data/hadoop/namenode/data</value>
  11.     </property>
  12.     <property>
  13.         <!-- datanode 节点数据（即数据块）的存放位置 -->
  14.         <name>dfs.datanode.data.dir</name>
  15.         <value>file:///data/hadoop/datanode/data</value>
  16.     </property>
  17.     <property>
  18.         <!-- 集群服务的逻辑名称 -->
  19.         <name>dfs.nameservices</name>
  20.         <value>mycluster</value>
  21.     </property>
  22.     <property>
  23.         <!-- NameNode ID 列表-->
  24.         <name>dfs.ha.namenodes.mycluster</name>
  25.         <value>nn1,nn2</value>
  26.     </property>
  27.     <property>
  28.         <!-- nn1 的 RPC 通信地址 -->
  29.         <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  30.         <value>node01:8020</value>
  31.     </property>
  32.     <property>
  33.         <!-- nn2 的 RPC 通信地址 -->
  34.         <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  35.         <value>node02:8020</value>
  36.     </property>
  37.     <property>
  38.         <!-- nn1 的 http 通信地址 -->
  39.         <name>dfs.namenode.http-address.mycluster.nn1</name>
  40.         <value>node01:50070</value>
  41.     </property>
  42.     <property>
  43.         <!-- nn2 的 http 通信地址 -->
  44.         <name>dfs.namenode.http-address.mycluster.nn2</name>
  45.         <value>node02:50070</value>
  46.     </property>
  47.     <property>
  48.         <!-- NameNode 元数据在 JournalNode 上的共享存储目录 -->
  49.         <name>dfs.namenode.shared.edits.dir</name>
  50.         <value>qjournal://node01:8485;node02:8485;node03:8485;node04:8485;node05:8485/mycluster</value>
  51.     </property>
  52.     <property>
  53.         <!-- Journal Edit Files 的存储目录 -->
  54.         <name>dfs.journalnode.edits.dir</name>
  55.         <value>/data/hadoop/journalnode/data</value>
  56.     </property>
  57.     <property>
  58.         <!-- 配置隔离机制，确保在任何给定时间只有一个 NameNode 处于活动状态 -->
  59.         <name>dfs.ha.fencing.methods</name>
  60.         <value>sshfence</value>
  61.     </property>
  62.     <property>
  63.         <!-- 使用 sshfence 机制时需要 ssh 免密登录 -->
  64.         <name>dfs.ha.fencing.ssh.private-key-files</name>
  65.         <value>/root/.ssh/id_rsa</value>
  66.     </property>
  67.     <property>
  68.         <!-- SSH 超时时间 -->
  69.         <name>dfs.ha.fencing.ssh.connect-timeout</name>
  70.         <value>30000</value>
  71.     </property>
  72.     <property>
  73.         <!-- 访问代理类，用于确定当前处于 Active 状态的 NameNode -->
  74.         <name>dfs.client.failover.proxy.provider.mycluster</name>
  75.         <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  76.     </property>
  77.     <property>
  78.         <!-- 开启故障自动转移 -->
  79.         <name>dfs.ha.automatic-failover.enabled</name>
  80.         <value>true</value>
  81.     </property>
  82. </configuration>

yarn-site.xml

  1. <configuration>
  2.     <property>
  3.         <!--配置 NodeManager 上运行的附属服务。需要配置成 mapreduce_shuffle 后才可以在 Yarn 上运行 MapReduce 程序。-->
  4.         <name>yarn.nodemanager.aux-services</name>
  5.         <value>mapreduce_shuffle</value>
  6.     </property>
  7.     <property>
  8.         <!-- 是否启用日志聚合 (可选) -->
  9.         <name>yarn.log-aggregation-enable</name>
  10.         <value>true</value>
  11.     </property>
  12.     <property>
  13.         <!-- 聚合日志的保存时间 (可选) -->
  14.         <name>yarn.log-aggregation.retain-seconds</name>
  15.         <value>86400</value>
  16.     </property>
  17.     <property>
  18.         <!-- 启用 RM HA -->
  19.         <name>yarn.resourcemanager.ha.enabled</name>
  20.         <value>true</value>
  21.     </property>
  22.     <property>
  23.         <!-- RM 集群标识 -->
  24.         <name>yarn.resourcemanager.cluster-id</name>
  25.         <value>my-yarn-cluster</value>
  26.     </property>
  27.     <property>
  28.         <!-- RM 的逻辑 ID 列表 -->
  29.         <name>yarn.resourcemanager.ha.rm-ids</name>
  30.         <value>rm1,rm2</value>
  31.     </property>
  32.     <property>
  33.         <!-- RM1 的服务地址 -->
  34.         <name>yarn.resourcemanager.hostname.rm1</name>
  35.         <value>node01</value>
  36.     </property>
  37.     <property>
  38.         <!-- RM2 的服务地址 -->
  39.         <name>yarn.resourcemanager.hostname.rm2</name>
  40.         <value>node02</value>
  41.     </property>
  42.     <property>
  43.         <!-- RM1 Web 应用程序的地址 -->
  44.         <name>yarn.resourcemanager.webapp.address.rm1</name>
  45.         <value>node01:8088</value>
  46.     </property>
  47.     <property>
  48.         <!-- RM2 Web 应用程序的地址 -->
  49.         <name>yarn.resourcemanager.webapp.address.rm2</name>
  50.         <value>node02:8088</value>
  51.     </property>
  52.     <property>
  53.         <!-- ZooKeeper 集群的地址 -->
  54.         <name>yarn.resourcemanager.zk-address</name>
  55.         <value>node01:2181,node02:2181,node03:2181,node04:2181,node05:2181</value>
  56.     </property>
  57.     <property>
  58.         <!-- 启用自动恢复 -->
  59.         <name>yarn.resourcemanager.recovery.enabled</name>
  60.         <value>true</value>
  61.     </property>
  62.     <property>
  63.         <!-- 用于进行持久化存储的类 -->
  64.         <name>yarn.resourcemanager.store.class</name>
  65.         <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
  66.     </property>
  67. </configuration>

mapred-site.xml

  1. <configuration>
  2.     <property>
  3.         <!--指定 mapreduce 作业运行在 yarn 上-->
  4.         <name>mapreduce.framework.name</name>
  5.         <value>yarn</value>
  6.     </property>
  7. </configuration>

slaves

配置所有从属节点的主机名或 IP 地址，每行一个。所有从属节点上的 DataNode 服务和 NodeManager 服务都会被启动。

  1. node03
  2. node04
  3. node05

分发程序

将 Hadoop 安装包分发到其他四台服务器，分发后在这两台服务器上也配置一下 Hadoop 的环境变量。

  1.  scp -r /opt/module/hadoop-2.7.7 root@node02:/opt/module # 传到node02，其余略

初次启动集群

启动ZooKeeper

如果zookeeper没有启动，分别到五台服务器上启动 ZooKeeper 服务：

  1.  /opt/module/zookeeper-3.4.14/bin/zkServer.sh start

启动Journalnode

分别到五台服务器的的 ${HADOOP_HOME}/sbin 目录下，启动 journalnode 进程：

  1. ${HADOOP_HOME}/sbin/hadoop-daemon.sh start journalnode

初始化NameNode

在 node01 上执行 NameNode 初始化命令：

  1. hdfs namenode -format

image.png
如上所示，说明初始化成功。

执行初始化命令后，需要将 NameNode 元数据目录的内容，复制到其他未格式化的 NameNode 上。元数据存储目录就是我们在 hdfs-site.xml 中使用 dfs.namenode.name.dir 属性指定的目录。这里我们需要将其复制到 node02 上：

  1.  scp -r /data/hadoop/namenode/data root@node02:/data/hadoop/namenode/

初始化HA状态

在任意一台 NameNode 上使用以下命令来初始化 ZooKeeper 中的 HA 状态：

  1. hdfs zkfc -formatZK

启动HDFS

进入到 node01 的 ${HADOOP_HOME}/sbin 目录下，启动 HDFS。此时 node01 和 node02 上的 NameNode 服务，和另外三台服务器上的 DataNode 服务都会被启动：

  1. ${HADOOP_HOME}/sbin/start-dfs.sh

启动成功后，namenode节点：

  1. [root@kvmcompute6 module]# jps
  2. 20164 QuorumPeerMain
  3. 25062 DFSZKFailoverController
  4. 24682 NameNode
  5. 24044 JournalNode
  6. 25357 Jps

datanode节点：

  1. [root@kvmcompute10 module]# jps
  2. 6166 DataNode
  3. 951 QuorumPeerMain
  4. 6488 Jps
  5. 5903 JournalNode
  • 未配置 hadoop-env.sh 的 JAVA_HOME

image.png

启动YARN

进入到 node01 的 ${HADOOP_HOME}/sbin 目录下，启动 YARN。此时 node01 上的 ResourceManager 服务，和另外三台服务器上（node03,node04,node05)的 NodeManager 服务都会被启动：

  1. ${HADOOP_HOME}/sbin/start-yarn.sh

需要注意的是，这个时候 node02 上的 ResourceManager 服务通常是没有启动的，需要手动启动：

  1. ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager

查看集群

查看进程

成功启动后，每台服务器上的进程应该如下：

  1. # node01
  2. [root@hadoop01 module]# jps
  3. 23573 QuorumPeerMain
  4. 27606 DataNode
  5. 28055 NodeManager
  6. 27371 JournalNode
  7. 28428 Jps
  9. # node02
  10. [root@kvmcompute7 module]# jps
  11. 26818 NameNode
  12. 26962 DFSZKFailoverController
  13. 21379 QuorumPeerMain
  14. 26549 JournalNode
  15. 27925 Jps
  16. 27791 ResourceManager
  18. # node03
  19. [root@kvmcompute10 module]# jps
  20. 7058 Jps
  21. 6661 NodeManager
  22. 6166 DataNode
  23. 951 QuorumPeerMain
  24. 5903 JournalNode
  26. # node04
  27. [root@kvmcompute11 module]# jps
  28. 21142 DataNode
  29. 21638 NodeManager
  30. 16058 QuorumPeerMain
  31. 20879 JournalNode
  32. 22047 Jps
  34. # node05
  35. [root@hadoop01 module]# jps
  36. 23573 QuorumPeerMain
  37. 27606 DataNode
  38. 28055 NodeManager
  39. 27371 JournalNode
  40. 28428 Jps

查看Web UI

  1. HDFS 的端口号为 50070 ,通过 http://ip:50070 访问，查看本次部署的各节点状态：
  • node01 上的 NameNode 处于可用(active)状态：

image.png

  • node02 上的 NameNode 处于备用状态：

image.png

  1. YARN的端口号是 8088 ，访问 http://ip:8088 ，界面如下：

image.png

点击左侧的 About ,显示如下:

  • node01 上的 ResourceManager 处于可用状态（active）：

image.png

  • node02 上的 ResourceManager 则处于备用状态（standby）：

image.png

  • 当node02处于备用状态时，访问其yarn端口自动跳转到 node01:8088 ,只能通过 ip:8088 方式访问node02
  1. 50070 端口界面上也有 Journal Manager 的相关信息：

image.png

后续集群启动

上面的集群初次启动涉及到一些必要初始化操作，所以过程略显繁琐。但是集群一旦搭建好后，想要再次启用它是比较方便的，步骤如下（首选需要确保 ZooKeeper 集群已经启动）：

在 node01 启动 HDFS，此时会启动所有与 HDFS 高可用相关的服务，包括 NameNode，DataNode 和 JournalNode：

  1. ${HADOOP_HOME${HADOOP_HOME}/sbin/start-yarn.sh}/sbin/start-dfs.sh

在 node01 启动 YARN：

  1. ${HADOOP_HOME}/sbin/start-yarn.sh

这个时候 hadoop003 上的 ResourceManager 服务通常还是没有启动的，需要手动启动：

  1. ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager