5.1 启动Hadoop集群

5.1.1 格式化文件系统

如果集群是第一次启动，需要在hadoop102节点格式化NameNode。

注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。

输入命令:hdfs namenode -format

5.1.2 启动Hadoop进程

Hadoop集群的启动，需要启动其内部的两个集群框架，HDFS集群和YARN集群。启动方式有单节点逐个启动和使用脚本一键启动两种。
  1. 启动HDFS
  2. [li@hadoop102 sbin]$ start-dfs.sh

Starting namenodes on [hadoop102]

Starting datanodes

hadoop104: WARNING: /opt/module/hadoop-3.1.3/logs does not exist. Creating.

hadoop103: WARNING: /opt/module/hadoop-3.1.3/logs does not exist. Creating.

Starting secondary namenodes [hadoop104]

  1. 启动YARN
在配置了ResourceManager的节点（hadoop103） 启动YARN [li@hadoop103 sbin]$ start-yarn.sh Starting resourcemanager Starting nodemanagers ## 5.2 监控Hadoop集群 Hadoop集群有相关的服务监控端口，方便用户对Hadoop集群的资源、任务运行状态等信息有更直观的了解

5.2.1 HDFS监控

Web端查看HDFS的NameNode：
浏览器中输入：http://hadoop102:9870 ### 5.2.2 YARN监控 Web端查看YARN的ResourceManager：
][浏览器中输入：http://hadoop103:8088 ### 5.2.3 日志监控 Web端查看Hadoop的日志监控界面即JobHistroy：
在浏览器中地址栏中输入http://hadoop102:19888 5.3 Hadoop集群基本测试 5.3.1 上传文件到集群 创建input目录，上传小文件 [li@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /input [li@hadoop102 hadoop-3.1.3]$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input 2022-08-24 15:09:10,390 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false 上传完成后可以在浏览器中查看内容: ### 5.3.2 查看文件 1. 查看HDFS文件存储路径 2. /opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1775777091-192.168.10.132-1661323073082/current/finalized/subdir0/subdir0

5.4 停止Hadoop集群

5.4.1 各模块分开启动/停止

在配置ssh的前提下
  1. 整体启动/停止HDFS
  2. start-dfs.sh/stop-dfs.sh
  3. 整体启动/停止YARN
  4. start-yarn.sh/stop-yarn.sh

5.4.2 各服务组件逐一启动/停止

分别启动/停止HDFS组件

hdfs —daemon start/stop namenode/datanode/secondarynamenode

1

启动/停止YARN

yarn —daemon start/stop resourcemanager/nodemanager

5.5 Hadoop集群常用脚本

5.5.1 Hadoop集群启停脚本

包含HDFS，Yarn，Historyserver：myhadoop.sh [li@hadoop102 hadoop-3.1.3]$ cd /home/li/bin [li@hadoop102 bin]$ vim myhadoop.sh ### 5.5.2 查看进程脚本 查看三台服务器Java进程脚本：jpsall

5.5.3 脚本分发

分发/home/li/bin目录，保证自定义脚本在三台机器上都可以使用