1、集群部署规划

注意:
Ø NameNode和SecondaryNameNode不要安装在同一台服务器
Ø ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置在同一台机器上。

hadoop102 hadoop103 hadoop104
HDFS
NameNode
DataNode
DataNode SecondaryNameNode
DataNode
YARN NodeManager ResourceManager
NodeManager
NodeManager

2、配置文件说明

Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。
(1)默认配置文件:

要获取的默认文件 文件存放在Hadoop的jar包中的位置
[core-default.xml] hadoop-common-3.1.3.jar/core-default.xml
[hdfs-default.xml] hadoop-hdfs-3.1.3.jar/hdfs-default.xml
[yarn-default.xml] hadoop-yarn-common-3.1.3.jar/yarn-default.xml
[mapred-default.xml] hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

(2)自定义配置文件:
core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上,用户可以根据项目需求重新进行修改配置。

3、配置集群

(1)核心配置文件:配置core-site.xml

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <configuration>
  4. <!-- 指定NameNode的地址 -->
  5. <property>
  6. <name>fs.defaultFS</name>
  7. <value>hdfs://hadoop102:8020</value>
  8. </property>
  9. <property>
  10. <name>dfs.replication</name><!-- 指定副本数 -->
  11. <value>1</value>
  12. </property>
  13. <!-- 指定hadoop数据的存储目录 -->
  14. <property>
  15. <name>hadoop.tmp.dir</name>
  16. <value>/opt/module/hadoop-3.1.3/data</value>
  17. </property>
  18. <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
  19. <property>
  20. <name>hadoop.http.staticuser.user</name>
  21. <value>atguigu</value>
  22. </property>
  23. <!-- 为了权限,例如通过beeline之类的通过访问 -->
  24. <property>
  25. <name>hadoop.proxyuser.hadoop.hosts</name>
  26. <value>*</value>
  27. </property>
  28. <property>
  29. <name>hadoop.proxyuser.hadoop.groups</name>
  30. <value>*</value>
  31. </property>
  32. </configuration>

(2)HDFS配置文件:配置hdfs-site.xml

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <configuration>
  4. <!-- nn web端访问地址-->
  5. <property>
  6. <name>dfs.namenode.http-address</name>
  7. <value>hadoop102:9870</value>
  8. </property>
  9. <!-- 2nn web端访问地址-->
  10. <property>
  11. <name>dfs.namenode.secondary.http-address</name>
  12. <value>hadoop104:9868</value>
  13. </property>
  14. <property>
  15. <name>dfs.replication</name>
  16. <value>1</value>
  17. </property>
  18. <property>
  19. <name>dfs.namenode.name.dir</name>
  20. <value>/data/hadoop/hadoop_data/namenode</value>
  21. </property>
  22. <property>
  23. <name>dfs.datanode.data.dir</name>
  24. <value>/data/hadoop/hadoop_data/datanode</value>
  25. </property>
  26. </configuration>

(3)YARN配置文件:配置yarn-site.xml

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <configuration>
  4. <!-- 指定MR走shuffle -->
  5. <property>
  6. <name>yarn.nodemanager.aux-services</name>
  7. <value>mapreduce_shuffle</value>
  8. </property>
  9. <!-- 指定ResourceManager的地址-->
  10. <property>
  11. <name>yarn.resourcemanager.hostname</name>
  12. <value>hadoop103</value>
  13. </property>
  14. <!-- 环境变量的继承 -->
  15. <property>
  16. <name>yarn.nodemanager.env-whitelist</name>
  17. <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  18. </property>
  19. </configuration>

(4)MapReduce配置文件配置mapred-site.xml

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  3. <configuration>
  4. <!-- 指定MapReduce程序运行在Yarn上 -->
  5. <property>
  6. <name>mapreduce.framework.name</name>
  7. <value>yarn</value>
  8. </property>
  9. </configuration>

(5)集群机器:3.x的是/opt/module/hadoop-3.1.3/etc/hadoop/workers
2.x的是/opt/module/hadoop-3.1.3/etc/hadoop/slaves

4、群起集群

(1)如果集群是第一次启动,需要在hadoop102节点格式化NameNode(注意:格式化NameNode,会产生新的集群id,导致NameNode和DataNode的集群id不一致,集群找不到已往数据。如果集群在运行过程中报错,需要重新格式化NameNode的话,一定要先停止namenode和datanode进程,并且要删除所有机器的data和logs目录,然后再进行格式化。)

  1. hdfs namenode -format

(2)启动HDFS:sbin/start-dfs.sh
(3)在配置了ResourceManager的节点(hadoop103)启动YARN:sbin/start-yarn.sh
(4)Web端查看HDFS的NameNode
(a)浏览器中输入:http://hadoop102:9870
(b)查看HDFS上存储的数据信息
(5)Web端查看YARN的ResourceManager
(a)浏览器中输入:http://hadoop103:8088
(b)查看YARN上运行的Job信息

5、配置历史服务器

为了查看程序的历史运行情况,需要配置一下历史服务器。具体配置步骤如下:
1)配置mapred-site.xml

  1. vim mapred-site.xml
  2. 在该文件里面增加如下配置。
  3. <!-- 历史服务器端地址 -->
  4. <property>
  5. <name>mapreduce.jobhistory.address</name>
  6. <value>hadoop102:10020</value>
  7. </property>
  8. <!-- 历史服务器web端地址 -->
  9. <property>
  10. <name>mapreduce.jobhistory.webapp.address</name>
  11. <value>hadoop102:19888</value>
  12. </property>

2)分发配置到其他机器:xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml
3)在hadoop102启动历史服务器
[atguigu@hadoop102 hadoop]$ mapred —daemon start historyserver
4)查看历史服务器是否启动
[atguigu@hadoop102 hadoop]$ jps
5)查看JobHistory
http://hadoop102:19888/jobhistory

6、配置日志的聚集

日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。
image.png
日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。
注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryServer。
开启日志聚集功能具体步骤如下:
1)配置yarn-site.xml
[atguigu@hadoop102 hadoop]$ vim yarn-site.xml
在该文件里面增加如下配置。

  1. <!-- 开启日志聚集功能 -->
  2. <property>
  3. <name>yarn.log-aggregation-enable</name>
  4. <value>true</value>
  5. </property>
  6. <!-- 设置日志聚集服务器地址 -->
  7. <property>
  8. <name>yarn.log.server.url</name>
  9. <value>http://hadoop102:19888/jobhistory/logs</value>
  10. </property>
  11. <!-- 设置日志保留时间为7天 -->
  12. <property>
  13. <name>yarn.log-aggregation.retain-seconds</name>
  14. <value>604800</value>
  15. </property>

2)分发配置
[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml
3)关闭NodeManager 、ResourceManager和HistoryServer
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguigu@hadoop103 hadoop-3.1.3]$ mapred —daemon stop historyserver
4)启动NodeManager 、ResourceManage和HistoryServer
[atguigu@hadoop103 ~]$ start-yarn.sh
[atguigu@hadoop102 ~]$ mapred —daemon start historyserver
5)删除HDFS上已经存在的输出文件
[atguigu@hadoop102 ~]$ hadoop fs -rm -r /output
6)执行WordCount程序
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output
7)查看日志
(1)历史服务器地址
http://hadoop102:19888/jobhistory
(2)历史任务列表
image.png
(3)查看任务运行日志
image.png
(4)运行日志详情
image.png

7、集群启动/停止命令

1)各个模块分开启动/停止(配置ssh是前提)常用

  1. 1)整体启动/停止HDFS
  2. start-dfs.sh/stop-dfs.sh
  3. 2)整体启动/停止YARN
  4. start-yarn.sh/stop-yarn.sh

2)各个服务组件逐一启动/停止

  1. 1)分别启动/停止HDFS组件
  2. hdfs --daemon start/stop namenode/datanode/secondarynamenode
  3. 2)启动/停止YARN
  4. yarn --daemon start/stop resourcemanager/nodemanager

8、常用脚本

(1)Hadoop集群启停脚本(包含HDFS,Yarn,Historyserver):myhadoop.sh

  1. #!/bin/bash
  2. if [ $# -lt 1 ]
  3. then
  4. echo "No Args Input..."
  5. exit ;
  6. fi
  7. case $1 in
  8. "start")
  9. echo " =================== 启动 hadoop集群 ==================="
  10. echo " --------------- 启动 hdfs ---------------"
  11. ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
  12. echo " --------------- 启动 yarn ---------------"
  13. ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
  14. echo " --------------- 启动 historyserver ---------------"
  15. ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
  16. ;;
  17. "stop")
  18. echo " =================== 关闭 hadoop集群 ==================="
  19. echo " --------------- 关闭 historyserver ---------------"
  20. ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
  21. echo " --------------- 关闭 yarn ---------------"
  22. ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
  23. echo " --------------- 关闭 hdfs ---------------"
  24. ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
  25. ;;
  26. *)
  27. echo "Input Args Error..."
  28. ;;
  29. esac

9、常用端口说明

端口名称 Hadoop2.x Hadoop3.x
NameNode内部通信端口 8020 / 9000 8020 / 9000/9820
NameNode HTTP UI 50070 9870
MapReduce查看执行任务端口 8088 8088
历史服务器通信端口 19888 19888