七、Hadoop HA【高可用】

1、HA 概述

  1. 所谓HA（High Available），即高可用（7*24小时不中断服务）。
  2. 实现高可用最关键的策略是消除单点故障。Hadoop-HA严格来说应该分成各个组件的HA机制：HDFS-HA 和 YARN-HA
  3. Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）
  4. NameNode主要在以下两个方面影响HDFS集群
    • NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启
    • NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用

  • HDFS HA功能通过配置Active/Standby两个NameNodes实现在集群中对NameNode的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将NameNode很快的切换到另外一台机器

    2、HDFS-HA 工作机制

  • 通过双NameNode消除单点故障（**Active/Standby**）

    HDFS-HA工作要点

  1. 元数据管理方式需要改变
    • 内存中各自保存一份元数据
    • Edits日志只有Active状态的NameNode节点可以做写操作
    • 两个NameNode都可以读取Edits
    • 共享的Edits放在一个共享存储中管理（qjournal和NFS两个主流实现）
  2. 需要一个状态管理功能模块
    • 实现了一个zkfailover，常驻在每一个namenode所在的节点，每一个zkfailover负责监控自己所在NameNode节点，利用zk进行状态标识，当需要进行状态切换时，由zkfailover来负责切换，切换时需要防止 brain split 现象的发生（集群中出现两个Active的Namenode：有时候active节点崩溃，另一个节点由standby转为active后，前者又恢复了【称为假死状态】，使得同时出现两个同时处于active的nameNode节点。为防止这种现象，在第二个节点转化为active时，需要把另一个节点 kill 掉）
  3. 必须保证两个NameNode之间能够ssh无密码登录
  4. 隔离（Fence），即同一时刻仅仅有一个NameNode对外提供服务

    HDFS-HA工作机制

    配置部署HDFS-HA进行自动故障转移。自动故障转移为HDFS部署增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程，ZooKeeper是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper的以下功能：
  • 故障检测
    • 集群中的每个NameNode在ZooKeeper中维护了一个临时会话，如果机器崩溃，ZooKeeper中的会话将终止，ZooKeeper通知另一个NameNode需要触发故障转移
  • 现役NameNode选择
    • ZooKeeper提供了一个简单的机制用于唯一的选择一个节点为active状态。如果目前现役NameNode崩溃，另一个节点可能从ZooKeeper获得特殊的排外锁以表明它应该成为现役NameNode

ZKFC 是自动故障转移中的另一个新组件，是ZooKeeper的客户端，也监视和管理NameNode的状态。每个运行NameNode的主机也运行了一个ZKFC进程，ZKFC负责：

  • 健康监测
    • ZKFC使用一个健康检查命令定期地ping与之在相同主机的NameNode，只要该NameNode及时地回复健康状态，ZKFC认为该节点是健康的。如果该节点崩溃，冻结或进入不健康状态，健康监测器标识该节点为非健康的
  • ZooKeeper会话管理
    • 当本地NameNode是健康的，ZKFC保持一个在ZooKeeper中打开的会话。如果本地NameNode处于active状态，ZKFC也保持一个特殊的znode锁，该锁使用了ZooKeeper对短暂节点的支持，如果会话终止，锁节点将自动删除。
  • 基于ZooKeeper的选择
    • 如果本地NameNode是健康的，且ZKFC发现没有其它的节点当前持有znode锁，它将为自己获取该锁。如果成功，则它已经赢得了选择，并负责运行故障转移进程以使它的本地NameNode为Active。故障转移进程与前面描述的手动故障转移相似，首先如果必要保护之前的现役NameNode，然后本地NameNode转换为Active状态

image.png

3、HDFS-HA集群配置

  1. 修改IP
  2. 修改主机名及主机名和IP地址的映射
  3. 关闭防火墙
  4. ssh免密登录
  5. 安装JDK，配置环境变量等

    集群规划

    image.png

    启动Zookeeper集群

  • sh zk.sh start
  • 查看状态
    • sh zk.sh status

      配置HDFS-HA集群

  1. 停止原先HDFS集群

    • stop-dfs.sh

  2. 在所有节点，/opt/lagou/servers 目录下创建一个ha文件夹【与原先安装的hadoop区别开】

    • mkdir /opt/lagou/servers/ha

  3. 将/opt/lagou/servers/ 目录下的 hadoop-2.9.2 拷贝到ha目录下【所有节点都要拷贝，也可以通过 rsync-script 分发给其他节点】

    • cp -r hadoop-2.9.2 ha

  4. 删除原集群data目录

    • rm -rf /opt/lagou/servers/ha/hadoop-2.9.2/data

  5. 配置 hdfs-site.xml

    • 把原先所有的配置删掉
      1. <property>
      2. <name>dfs.nameservices</name>
      3. <value>lagoucluster</value>
      4. </property>
      5. <property>
      6. <name>dfs.ha.namenodes.lagoucluster</name>
      7. <value>nn1,nn2</value>
      8. </property>
      9. <property>
      10. <name>dfs.namenode.rpc-address.lagoucluster.nn1</name>
      11. <value>linux121:9000</value>
      12. </property>
      13. <property>
      14. <name>dfs.namenode.rpc-address.lagoucluster.nn2</name>
      15. <value>linux122:9000</value>
      16. </property>
      17. <property>
      18. <name>dfs.namenode.http-address.lagoucluster.nn1</name>
      19. <value>linux121:50070</value>
      20. </property>
      21. <property>
      22. <name>dfs.namenode.http-address.lagoucluster.nn2</name>
      23. <value>linux122:50070</value>
      24. </property>
      25. <property>
      26. <name>dfs.namenode.shared.edits.dir</name>
      27. <value>qjournal://linux121:8485;linux122:8485;linux123:8485/lagou</value>
      28. </property>
      29. <property>
      30. <name>dfs.client.failover.proxy.provider.lagoucluster</name>
      31. <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProv ider</value>
      32. </property>
      33. <property>
      34. <name>dfs.ha.fencing.methods</name>
      35. <value>sshfence</value>
      36. </property>
      37. <property>
      38. <name>dfs.ha.fencing.ssh.private-key-files</name>
      39. <value>/root/.ssh/id_rsa</value>
      40. </property>
      41. <property>
      42. <name>dfs.journalnode.edits.dir</name>
      43. <value>/opt/journalnode</value>
      44. </property>
      45. <property>
      46. <name>dfs.ha.automatic-failover.enabled</name>
      47. <value>true</value>
      48. </property>

  6. 配置 core-site.xml

    • 把原先所有的配置删掉
      <property>
<name>fs.defaultFS</name>
<value>hdfs://lagoucluster</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/lagou/servers/ha/hadoop-2.9.2/data/tmp</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>linux121:2181,linux122:2181,linux123:2181</value>
</property>

  7. 拷贝配置好的hadoop环境到其他节点

    • rsync-script /opt/lagou/servers/ha/hadoop-2.9.2/

启动HDFS-HA集群【新的Hadoop目录下】

  1. 在**所有JournalNode节点**上，输入以下命令启动journalnode服务(去往HA安装目录，不要使用环境变量中命令，原先的环境变量是属于本机另一个hadoop安装包的)

    • /opt/lagou/servers/ha/hadoop-2.9.2/sbin/hadoop-daemon.sh start journalnode

  2. 在[nn1]上，对其进行格式化，并启动

    • /opt/lagou/servers/ha/hadoop-2.9.2/bin/hdfs namenode -format
    • /opt/lagou/servers/ha/hadoop-2.9.2/sbin/hadoop-daemon.sh start namenode

  3. 在**[nn2]上，同步nn1的元数据信息**

    • /opt/lagou/servers/ha/hadoop-2.9.2/bin/hdfs namenode -bootstrapStandby

  4. 在[nn1]上初始化zkfc

    • /opt/lagou/servers/ha/hadoop-2.9.2/bin/hdfs zkfc -formatZK

  5. 在[nn1]上，启动集群

    • /opt/lagou/servers/ha/hadoop-2.9.2/sbin/start-dfs.sh

  6. 验证

    • 将Active NameNode 进程 kill
    • 再查看 另一个 standby NameNode 进程，发现变成了 active

4、YARN-HA集群配置

  1. 环境准备

    • 修改IP
    • 修改主机名及主机名和IP地址的映射
    • 关闭防火墙
    • ssh免密登录
    • 安装JDK，配置环境变量等
    • 配置Zookeeper集群

  2. 规划集群

image.png

  1. 配置 yarn-site.xml
    • /opt/lagou/servers/ha/hadoop-2.9.2/etc/hadoop/yarn-site.xml
    • 把之前的配置删掉 ```xml yarn.nodemanager.aux-services mapreduce_shuffle
yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id cluster-yarn yarn.resourcemanager.ha.rm-ids rm1,rm2 yarn.resourcemanager.hostname.rm1 linux122 yarn.resourcemanager.hostname.rm2 linux123 yarn.resourcemanager.zk-address linux121:2181,linux122:2181,linux123:2181 yarn.resourcemanager.recovery.enabled true

yarn.resourcemanager.store.class org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore ```

  1. 同步更新其他节点的配置信息

    • rsync-script yarn-site.xml

  2. 启动 yarn

    • /opt/lagou/servers/ha/hadoop-2.9.2/sbin/start-yarn.sh
  • 注：同时启动linux122 和 linux123 的 yarn，当访问yarn页面时【假设先打开的是linux122】，则不管是访问 linux122:8088 还是 linux123:8088，页面都会转到 先打开的端口，即linux122:8080，当关闭其中一个linux122的resourceManager后，再重新打开剩下的端口，即可真正访问该端口【linux123:8088】


Zookeeper.pdf**