集群规划

node1 node2 node3
NameNode NameNode
JournalNode JournalNode JournalNode
DataNode DataNode DataNode
ZK ZK ZK
ResourceManager ResourceManager
NodeManager NodeManager NodeManager
ZKFC ZKFC
JobHistoryServer

配置过程

部署zookeeper并完成格式化

  1. tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
  2. mkdir -p zkData
  3. mv zoo_sample.cfg zoo.cfg
  4. dataDir=/opt/module/zookeeper-3.4.10/zkData
  5. #######################cluster##########################
  6. server.2=hadoop102:2888:3888
  7. server.3=hadoop103:2888:3888
  8. server.4=hadoop104:2888:3888
  9. Server.A=B:C:D。
  10. A是一个数字，表示这个是第几号服务器；
  11. B是这个服务器的IP地址；
  12. C是这个服务器与集群中的Leader服务器交换信息的端口；
  13. D是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。
  14. 集群模式下配置一个文件myid，这个文件在dataDir目录下，这个文件里面有一个数据就是A的值，Zookeeper启动时读取此文件，拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server

1.core-site.xml

  1. <configuration>
  2.     <property>
  3.         <name>fs.defaultFS</name>
  4.         <value>hdfs://mycluster</value>
  5.     </property>
  6.     <!-- 指定hadoop运行时产生文件的存储目录 -->
  7.     <property>
  8.         <name>hadoop.tmp.dir</name>
  9.         <value>/export/server/hadoop2.7/data/tmp</value>
  10.     </property>
  11.     <!-- 指定NameNode的HA高可用的zk地址  -->
  12.      <property>
  13.         <name>ha.zookeeper.quorum</name>
  14.         <value>node1:2181,node2:2181,node3:2181</value>
  15.     </property>
  16.     <!-- 开启hdfs垃圾箱机制，指定垃圾箱中的文件七天之后就彻底删掉单位为分钟 -->
  17.     <property>
  18.          <name>fs.trash.interval</name>
  19.          <value>10080</value>
  20.     </property>
  21. </configuration>

2.hdfs-site.xml

  1. <configuration>
  2.     <!-- 完全分布式集群名称 -->
  3.     <property>
  4.         <name>dfs.nameservices</name>
  5.         <value>mycluster</value>
  6.     </property>
  8.     <!-- 集群中NameNode节点都有哪些 -->
  9.     <property>
  10.         <name>dfs.ha.namenodes.mycluster</name>
  11.         <value>nn1,nn2</value>
  12.     </property>
  14.     <!-- nn1的RPC通信地址 -->
  15.     <property>
  16.         <name>dfs.namenode.rpc-address.mycluster.nn1</name>
  17.         <value>hadoop101:9000</value>
  18.     </property>
  20.     <!-- nn2的RPC通信地址 -->
  21.     <property>
  22.         <name>dfs.namenode.rpc-address.mycluster.nn2</name>
  23.         <value>hadoop102:9000</value>
  24.     </property>
  26.     <!-- nn1的http通信地址 -->
  27.     <property>
  28.         <name>dfs.namenode.http-address.mycluster.nn1</name>
  29.         <value>hadoop101:50070</value>
  30.     </property>
  32.     <!-- nn2的http通信地址 -->
  33.     <property>
  34.         <name>dfs.namenode.http-address.mycluster.nn2</name>
  35.         <value>hadoop102:50070</value>
  36.     </property>
  38.     <!-- 指定NameNode元数据在JournalNode上的存放位置 -->
  39.     <property>
  40.         <name>dfs.namenode.shared.edits.dir</name>
  41.     <value>qjournal://hadoop101:8485;hadoop102:8485;hadoop103:8485/mycluster</value>
  42.     </property>
  44.     <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
  45.     <property>
  46.         <name>dfs.ha.fencing.methods</name>
  47.         <value>sshfence</value>
  48.     </property>
  50.     <!-- 使用隔离机制时需要ssh无秘钥登录-->
  51.     <property>
  52.         <name>dfs.ha.fencing.ssh.private-key-files</name>
  53.         <value>/home/atguigu/.ssh/id_rsa</value>
  54.     </property>
  56.     <!-- 声明journalnode服务器存储目录-->
  57.     <property>
  58.         <name>dfs.journalnode.edits.dir</name>
  59.         <value>/opt/ha/data/jn</value>
  60.     </property>
  61.     <!-- 访问代理类：client，mycluster，active配置失败自动切换实现方式-->
  62.     <property>
  63.           <name>dfs.client.failover.proxy.provider.mycluster</name>
  64.     <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  65.     </property>
  66. </configuration>

3.yarn-site.xml

  1. <configuration>
  3.     <property>
  4.         <name>yarn.nodemanager.aux-services</name>
  5.         <value>mapreduce_shuffle</value>
  6.     </property>
  8.     <!--启用resourcemanager ha-->
  9.     <property>
  10.         <name>yarn.resourcemanager.ha.enabled</name>
  11.         <value>true</value>
  12.     </property>
  14.     <!--声明两台resourcemanager的地址-->
  15.     <property>
  16.         <name>yarn.resourcemanager.cluster-id</name>
  17.         <value>cluster-yarn1</value>
  18.     </property>
  20.     <property>
  21.         <name>yarn.resourcemanager.ha.rm-ids</name>
  22.         <value>rm1,rm2</value>
  23.     </property>
  25.     <property>
  26.         <name>yarn.resourcemanager.hostname.rm1</name>
  27.         <value>hadoop102</value>
  28.     </property>
  30.     <property>
  31.         <name>yarn.resourcemanager.hostname.rm2</name>
  32.         <value>hadoop103</value>
  33.     </property>
  35.     <!--指定zookeeper集群的地址--> 
  36.     <property>
  37.         <name>yarn.resourcemanager.zk-address</name>
  38.         <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
  39.     </property>
  41.     <!--启用自动恢复--> 
  42.     <property>
  43.         <name>yarn.resourcemanager.recovery.enabled</name>
  44.         <value>true</value>
  45.     </property>
  47. </configuration>

4.mapred-site.xml

  1. <property> 
  2.     <name>mapreduce.jobhistory.address</name>  
  3.     <value>hadoop101:10020</value> 
  4.   </property>  
  5.   <property> 
  6.     <name>mapreduce.jobhistory.webapp.address</name>  
  7.     <value>hadoop101:19888</value> 
  8.   </property> 
  9.   #注意此机器为resourcemanage的机器地址，

相关命令

hadoop-daemon.sh start namenode
hdfs namenode -bootstrapStandby
hdfs zkfc -formatZK
start-dfs.sh
hadoop103: 执行yarn-daemon.sh start resourcemanager
hadoop101:执行start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver#启动historyserver
sbin/mr-jobhistory-daemon.sh stop historyserver # 停止historyserver
验证：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar wordcount /twan/wc/input/ /twan/wc/output
查看活跃yarn :yarn rmadmin -getServiceState rm2
Hadoop-HDFS.docx