Hadoop HA模式搭建（高可用）

1:集群规划

一共三台虚拟机，分别为master、worker1、worker2；
namenode三台上都有，resourcemanager在worker1，woker2上。

master woker1 worker2
NameNode yes yes yes
DataNode no yes yes
JournalNode yes yes yes
NodeManager no yes yes
ResourceManager no yes yes
Zookeeper yes yes yes
ZKFC yes yes yes

规划好后，开始进行配置

2：Zookeeper集群搭建：

参考
https://blog.csdn.net/l1682686/article/details/107998554

3：修改Hadoop集群配置文件

core-site.xml：

  1. <configuration>
  3.     <!-- 指定hdfs的nameservice为cluster1 -->
  4.     <property>
  5.         <name>fs.defaultFS</name>
  6.         <value>hdfs://cluster1/</value>
  7.     </property>
  9.     <!-- 指定hadoop临时目录 -->
  10.     <property>
  11.         <name>hadoop.tmp.dir</name>
  12.         <value>/home/hadoop/data/tmp/</value>
  13.     </property>
  15.     <!-- 指定zookeeper地址 -->
  16.     <property>
  17.         <name>ha.zookeeper.quorum</name>
  18.         <value>master:2181,worker1:2181,worker2:2181</value>
  19.     </property>
  21.     <!-- hadoop链接zookeeper的超时时长设置 -->
  22.     <property>
  23.         <name>ha.zookeeper.session-timeout.ms</name>
  24.         <value>1000</value>
  25.         <description>ms</description>
  26.     </property>
  27.     <!--以下设置和本次HA配置无关
  28.     <property>
  29.     <name>hadoop.proxyuser.hadoop.hosts</name>
  30.     <value>*</value>
  31.     </property>
  33.     <property>
  34.     <name>hadoop.proxyuser.hadoop.groups</name>
  35.     <value>*</value>
  36.     </property>
  37.     -->
  39. </configuration>

hdfs-site.xml:

  1. <configuration>
  3.     <!-- 指定副本数 -->
  4.     <property>
  5.         <name>dfs.replication</name>
  6.         <value>2</value>
  7.     </property>
  9.     <!-- 配置namenode和datanode的工作目录-数据存储目录 -->
  10.     <property>
  11.         <name>dfs.namenode.name.dir</name>
  12.         <value>/home/hadoop/data/dfs/name</value>
  13.     </property>
  14.     <property>
  15.         <name>dfs.datanode.data.dir</name>
  16.         <value>/home/hadoop/data/dfs/data</value>
  17.     </property>
  19.     <!-- 启用webhdfs -->
  20.     <property>
  21.         <name>dfs.webhdfs.enabled</name>
  22.         <value>true</value>
  23.     </property>
  25.     <!--指定hdfs的nameservice为cluster1，需要和core-site.xml中的保持一致
  26.                  dfs.ha.namenodes.[nameservice id]为在nameservice中的每一个NameNode设置唯一标示符。
  27.         配置一个逗号分隔的NameNode ID列表。这将是被DataNode识别为所有的NameNode。
  28.         例如，如果使用"cluster1"作为nameservice ID，并且使用"nn1"和"nn2"作为NameNodes标示符
  29.     -->
  30.     <property>
  31.         <name>dfs.nameservices</name>
  32.         <value>cluster1</value>
  33.     </property>
  35.     <!-- cluster下面有3个NameNode，分别是nn1，nn2,nn3-->
  36.     <property>
  37.         <name>dfs.ha.namenodes.cluster1</name>
  38.         <value>nn1,nn2,nn3</value>
  39.     </property>
  41.     <!-- nn1的RPC通信地址 -->
  42.     <property>
  43.         <name>dfs.namenode.rpc-address.cluster1.nn1</name>
  44.         <value>master:9000</value>
  45.     </property>
  47.     <!-- nn1的http通信地址 -->
  48.     <property>
  49.         <name>dfs.namenode.http-address.cluster1.nn1</name>
  50.         <value>master:9870</value>
  51.     </property>
  53.     <!-- nn2的RPC通信地址 -->
  54.     <property>
  55.         <name>dfs.namenode.rpc-address.cluster1.nn2</name>
  56.         <value>worker1:9000</value>
  57.     </property>
  59.     <!-- nn2的http通信地址 -->
  60.     <property>
  61.         <name>dfs.namenode.http-address.cluster1.nn2</name>
  62.         <value>worker1:9870</value>
  63.     </property>
  65.     <!-- nn3的RPC通信地址 -->
  66.     <property>
  67.         <name>dfs.namenode.rpc-address.cluster1.nn3</name>
  68.         <value>worker2:9000</value>
  69.     </property>
  71.     <!-- nn3的http通信地址 -->
  72.     <property>
  73.         <name>dfs.namenode.http-address.cluster1.nn3</name>
  74.         <value>worker2:9870</value>
  75.     </property>
  77.     <!-- 指定NameNode的edits元数据的共享存储位置。也就是JournalNode列表
  78.                  该url的配置格式：qjournal://host1:port1;host2:port2;host3:port3/journalId
  79.         journalId推荐使用nameservice，默认端口号是：8485 -->
  80.     <property>
  81.         <name>dfs.namenode.shared.edits.dir</name>
  82.         <value>qjournal://master:8485;worker1:8485;worker2:8485/cluster1</value>
  83.     </property>
  85.     <!-- 指定JournalNode在本地磁H的位置 -->
  86.     <property>
  87.         <name>dfs.journalnode.edits.dir</name>
  88.         <value>/home/hadoop/data/Hadoop-HA/journaldata</value>
  89.     </property>
  91.     <!-- 开启NameNode失败自动切换 -->
  92.     <property>
  93.         <name>dfs.ha.automatic-failover.enabled</name>
  94.         <value>true</value>
  95.     </property>
  97.     <!-- 配置失败自动切换实现方式 -->
  98.     <property>
  99.         <name>dfs.client.failover.proxy.provider.cluster1</name>
  100.         <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  101.     </property>
  103.     <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行 -->
  104.     <property>
  105.         <name>dfs.ha.fencing.methods</name>
  106.         <value>
  107.             sshfence
  108.             shell(/bin/true)
  109.         </value>
  110.     </property>
  112.     <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
  113.     <property>
  114.         <name>dfs.ha.fencing.ssh.private-key-files</name>
  115.         <value>/home/hadoop/.ssh/id_rsa</value>
  116.     </property>
  118.     <!-- 配置sshfence隔离机制超时时间 -->
  119.     <property>
  120.         <name>dfs.ha.fencing.ssh.connect-timeout</name>
  121.         <value>30000</value>
  122.     </property>
  124.     <property>
  125.         <name>ha.failover-controller.cli-check.rpc-timeout.ms</name>
  126.         <value>60000</value>
  127.     </property>
  128. </configuration>

mapred-site.xml

  1. <configuration>
  2.     <!-- 指定mr框架为yarn方式 -->
  3.     <property>
  4.         <name>mapreduce.framework.name</name>
  5.         <value>yarn</value>
  6.     </property>
  8.     <!-- 指定mapreduce jobhistory地址 -->
  9.     <property>
  10.         <name>mapreduce.jobhistory.address</name>
  11.         <value>master:10020</value>
  12.     </property>
  14.     <!-- 任务历史服务器的web地址 -->
  15.     <property>
  16.         <name>mapreduce.jobhistory.webapp.address</name>
  17.         <value>master:19888</value>
  18.     </property>
  19. </configuration>

都修改好了，就分发给其他集群节点
(在hadoop/etc路径下)

  1. scp -r hadoop/ hadoop@worker1:PWD
  2. scp -r hadoop/ hadoop@worker2:PWD

4：启动zookeeper集群

在每台机器上启动：

  1. zkServer.sh start
  2. zkServer.sh status

image.png

5: 格式化namenode、zkfc

首先，在所有虚拟机上启动journalnode:

  1. hdfs --daemon start journalnode

image.png
都启动完毕之后，在master节点上，格式化namenode

  1. hadoop namenode -format

然后单独启动namenode：

  1. hdfs namenode

image.png
然后，在另外两台机器上，同步格式化好的namenode：

  1. hdfs namenode -bootstrapStandby

应该能从master上看到传输信息。
传输完成后，在master节点上，格式化zkfc：

  1.  hdfs zkfc -formatZK

6：启动hdfs

在master节点上，先启动dfs：

  1. start-dfs.sh

可以看到各个节点的进程启动情况：
master:
image.png
worker1:
image.png
worker2:
image.png

然后启动yarn：

  1. start-yarn.sh

image.png

worker1:
image.png

worker2:
image.png
启动mapreduce任务历史服务器：

  1. mapred --daemon start historyserver

image.png

7：尝试HA模式

首先看看各个namenode主机状态：

  1. hdfs haadmin -getServiceState nn1

image.png
可以看到，有两个standby，一个active。
在active的master节点上，kill掉namenode进程：
image.png
再次查看节点状态：
image.png
可以看到，nn2已经切换为active，Hadoop 高可用集群基本搭建完成。