7 Hadoop HA

7.1 HA 概述

  1. 所谓HA（High Available），即⾼可⽤（7*24⼩时不中断服务）。
  2. 实现⾼可⽤最关键的策略是消除单点故障。Hadoop-HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。
  3. Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。
  4. NameNode主要在以下两个⽅⾯影响HDFS集群

NameNode机器发⽣意外，如宕机，集群将⽆法使⽤，直到管理员重启
NameNode机器需要升级，包括软件、硬件升级，此时集群也将⽆法使⽤

HDFS HA功能通过配置Active/Standby两个NameNodes实现在集群中对NameNode的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种⽅式将NameNode很快的切换到另外⼀台机器。

7.2 HDFS-HA ⼯作机制

通过双NameNode消除单点故障（Active/Standby）

2.1 HDFS-HA⼯作要点

  1. 元数据管理⽅式需要改变
  • 内存中各⾃保存⼀份元数据；
  • Edits⽇志只有Active状态的NameNode节点可以做写操作；
  • 两个NameNode都可以读取Edits；
  • 共享的Edits放在⼀个共享存储中管理（qjournal和NFS两个主流实现）；
  1. 需要⼀个状态管理功能模块
  • 实现了⼀个zkfailover，常驻在每⼀个namenode所在的节点，每⼀个zkfailover负责监控⾃⼰所在NameNode节点，利⽤zk进⾏状态标识，当需要进⾏状态切换时，由zkfailover来负责切换，切换时需要防⽌brain split现象的发⽣（集群中出现两个Active的Namenode）。
  1. 必须保证两个NameNode之间能够ssh⽆密码登录
  2. 隔离（Fence），即同⼀时刻仅仅有⼀个NameNode对外提供服务

    2.2 HDFS-HA⼯作机制

    配置部署HDFS-HA进⾏⾃动故障转移。⾃动故障转移为HDFS部署增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程，ZooKeeper是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障的⾼可⽤服务。HA的⾃动故障转移依赖于ZooKeeper的以下功能：
  • 故障检测

集群中的每个NameNode在ZooKeeper中维护了⼀个临时会话，如果机器崩溃，ZooKeeper中的会
话将终⽌，ZooKeeper通知另⼀个NameNode需要触发故障转移。

  • 现役NameNode选择

ZooKeeper提供了⼀个简单的机制⽤于唯⼀的选择⼀个节点为active状态。如果⽬前现NameNode 崩溃，另⼀个节点可能从ZooKeeper获得特殊的排外锁以表明它应该成为现役NameNode。
ZKFC是⾃动故障转移中的另⼀个新组件，是ZooKeeper的客户端，也监视和管理NameNode的状 态。
每个运⾏NameNode的主机也运⾏了⼀个ZKFC进程，ZKFC负责：

  • 健康监测

ZKFC使⽤⼀个健康检查命令定期地ping与之在相同主机的NameNode，只要该NameNode及时地 回复健康状态，ZKFC认为该节点是健康的。如果该节点崩溃，冻结或进⼊不健康状态，健康监测 器标识该节点为⾮健康的。

  • ZooKeeper**会话管理**

当本地NameNode是健康的，ZKFC保持⼀个在ZooKeeper中打开的会话。如果本地NameNode处 于active状态，ZKFC也保持⼀个特殊的znode锁，该锁使⽤了ZooKeeper对短暂节点的⽀持，如果 会话终⽌，锁节点将⾃动删除。

  • 基于**ZooKeeper**的选择

如果本地NameNode是健康的，且ZKFC发现没有其它的节点当前持有znode锁，它将为⾃⼰获取 该锁。如果成功，则它已经赢得了选择，并负责运⾏故障转移进程以使它的本地NameNode为 Active.故障转移进程与前⾯描述的⼿动故障转移相似，⾸先如果必要保护之前的现役 NameNode，然后本地NameNode转换为Active状态。
image.png

7.3 HDFS-HA集群配置

  1. https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-
  2. hdfs/HDFSHighAvailabilityWithQJM.html

3.1 环境准备

  1. 修改IP
  2. 修改主机名及主机名和IP地址的映射
  3. 关闭防⽕墙
  4. ssh免密登录
  5. 安装JDK，配置环境变量等

    3.2 集群规划

    | linux121 | linux122 | linux123 | | —- | —- | —- | | NameNode | NameNode | | | JournalNode | JournalNode | JournalNode | | DataNode | DataNode | DataNode | | ZK | ZK | ZK | | | ResourceManager | | | NodeManager | NodeManager | NodeManager |

3.3 启动Zookeeper集群

启动zookeeper集群

  1. zk.sh start

查看状态

zk.sh status

3.4 配置HDFS-HA集群

  1. 停⽌原先HDFS集群

    stop-dfs.sh

  2. 在所有节点，/opt/servers⽬录下创建⼀个ha⽂件夹

    mkdir /opt/servers/ha

  3. 将/opt/servers/⽬录下的 hadoop-2.9.2拷⻉到ha⽬录下

    cp -r hadoop-2.9.2 ha

  4. 删除原集群data⽬录

    rm -rf /opt/servers/ha/hadoop-2.9.2/data

  5. 配置hdfs-site.xml

    <property>
 <name>dfs.nameservices</name>
 <value>lagoucluster</value>
</property>
<property>
 <name>dfs.ha.namenodes.lagoucluster</name>
 <value>nn1,nn2</value>
</property>
<property>
 <name>dfs.namenode.rpc-address.lagoucluster.nn1</name>
 <value>linux121:9000</value> 
</property>
<property>
 <name>dfs.namenode.rpc-address.lagoucluster.nn2</name>
 <value>linux122:9000</value>
</property>
<property>
 <name>dfs.namenode.http-address.lagoucluster.nn1</name>
 <value>linux121:50070</value>
</property>
<property>
 <name>dfs.namenode.http-address.lagoucluster.nn2</name>
 <value>linux122:50070</value>
</property>
<property>
 <name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://linux121:8485;linux122:8485;linux123:8485/lagou</value>
</property>
<property>
 <name>dfs.client.failover.proxy.provider.lagoucluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
 <name>dfs.ha.fencing.methods</name>
 <value>sshfence</value>
</property>
<property>
 <name>dfs.ha.fencing.ssh.private-key-files</name>
 <value>/root/.ssh/id_rsa</value>
</property>
<property>
 <name>dfs.journalnode.edits.dir</name>
 <value>/opt/journalnode</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
 <value>true</value>
</property>

  6. 配置core-site.xml

    <property>
 <name>fs.defaultFS</name>
 <value>hdfs://lagoucluster</value>
</property>
<property>
 <name>hadoop.tmp.dir</name>
 <value>/opt/lagou/servers/ha/hadoop-2.9.2/data/tmp</value>
</property>
<property>
 <name>ha.zookeeper.quorum</name>
 <value>linux121:2181,linux122:2181,linux123:2181</value>
</property>

  7. 拷⻉配置好的hadoop环境到其他节点

    rsync-script /opt/servers/ha/hadoop-2.9.2/

    3.5 启动HDFS-HA集群

  8. 在各个JournalNode节点上，输⼊以下命令启动journalnode服务(去往HA安装⽬录，不要使⽤环境变量中命令)

    /opt/servers/ha/hadoop-2.9.2/sbin/hadoop-daemon.sh start journalnode

  9. 在[nn1]上，对其进⾏格式化，并启动

    /opt/servers/ha/hadoop-2.9.2/bin/hdfs namenode -format
/opt/servers/ha/hadoop-2.9.2/sbin/hadoop-daemon.sh start namenode

  10. 在[nn2]上，同步nn1的元数据信息

    /opt/servers/ha/hadoop-2.9.2/bin/hdfs namenode -bootstrapStandby

  11. 在[nn1]上初始化zkfc

    /opt/servers/ha/hadoop-2.9.2/bin/hdfs zkfc -formatZK

  12. 在[nn1]上，启动集群

    /opt/servers/ha/hadoop-2.9.2/sbin/start-dfs.sh

  13. 验证

将Active NameNode进程kill
kill -9 namenode的进程id

7.4 YARN-HA配置

4.1 YARN-HA⼯作机制

  1. 官⽅⽂档

    https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html

  2. YARN-HA⼯作机制

4.2 配置YARN-HA集群

  1. 环境准备
  • 修改IP
  • 修改主机名及主机名和IP地址的映射
  • 关闭防⽕墙
  • ssh免密登录
  • 安装JDK，配置环境变量等
  • 配置Zookeeper集群

  1. 规划集群 | linux121 | linux122 | linux123 | | —- | —- | —- | | NameNode | NameNode | | | JournalNode | JournalNode | JournalNode | | DataNode | DataNode | DataNode | | ZK | ZK | ZK | | | ResourceManager | | | NodeManager | NodeManager | NodeManager |

  2. 具体配置

  3. yarn-site.xml

     <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
 </property>
 <!--启⽤resourcemanager ha-->
 <property>
     <name>yarn.resourcemanager.ha.enabled</name>
     <value>true</value>
 </property>
 <!--声明两台resourcemanager的地址-->
 <property>
     <name>yarn.resourcemanager.cluster-id</name>
     <value>cluster-yarn</value>
 </property>
 <property>
     <name>yarn.resourcemanager.ha.rm-ids</name>
     <value>rm1,rm2</value>
 </property>
 <property>
     <name>yarn.resourcemanager.hostname.rm1</name>
     <value>linux122</value>
 </property>
 <property>
     <name>yarn.resourcemanager.hostname.rm2</name>
     <value>linux123</value>
 </property>
 <!--指定zookeeper集群的地址-->
 <property>
     <name>yarn.resourcemanager.zk-address</name>
     <value>linux121:2181,linux122:2181,linux123:2181</value>
 </property>
 <!--启⽤⾃动恢复-->
 <property>
     <name>yarn.resourcemanager.recovery.enabled</name>
     <value>true</value>
 </property>
 <!--指定resourcemanager的状态信息存储在zookeeper集群-->
 <property>
<name>yarn.resourcemanager.store.class</name> 
    <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
</property>

  4. 同步更新其他节点的配置信息

    rsync-script yarn-site.xml

  5. 启动hdfs

    sbin/start-yarn.sh