:::info 💡 根据 遗忘曲线：如果没有记录和回顾，6天后便会忘记75%的内容

  读书笔记正是帮助你记录和回顾的工具，不必拘泥于形式，其核心是：记录、翻看、思考

:::

1. 集群配置

1.1 集群配置规划

安装前先做好节点规划，完全分布式目前规划1个主节点（Master）和2个从节点（Slave）一共三个节点。

部署规划要求：

NameNode和SecondaryNameNode不要安装在同一台服务器。

ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

1.2 配置文件说明

1. 默认配置文件：

1.3 配置集群

要在多台计算机上进行hadoop集群搭建，还需要对相关配置文件进行修改，来保证集群服务协调运行。进入/opt/module/hadoop-3.1.3/etc/hadoop目录，并修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、workers共5个配置文件的内容。

1.3.1 配置core-site.xml文件

core-site.xml是Hadoop的核心配置文件，用于配置HDFS地址、端口号、以及临时文件目录，即fs.defaultFS和hadoop.tmp.dir。fs.defaultFS配置了Hadoop的HDFS文件系统的NameNode端口。hadoop.tmp.dir配置了Hadoop的临时文件的目录。

1.将目录切换到/etc/hadoop

1.3.2 配置hdfs-site.xml文件

hdfs-site.xml设置了HDFS相关的配置，HDFS的NameNode和DataNode两大进程。dfs.namenode.name.dir和dfs.datanode.data.dir分别指定了NameNode元数据和DataNode数据存储位置。dfs.namenode.secondary.http-address配置了SecondaryNameNode的地址。dfs.replication配置了文件块的副本数，默认为3个副本，不作修改。

1.打开hdfs-site.xml文件：

1.3.3 配置mapred-site.xml文件

mapred-site.xml设置了MapReduce框架的相关配置，由于Hadoop 3.x使用了YARN框架，所以必须指定mapreduce.framework.name配置项的值为“yarn”。mapreduce.jobhistory.address和mapreduce.jobhistoryserver.webapp.address是JobHistoryserver的相关配置，即运行MapReduce任务的日志相关服务端口。此文件用于指定MapReduce运行框架，是MapReduce的核心配置文件。

1.打开mapred-site.xml文件

2.文件内容如下：

1.3.4 配置yarn-site.xml文件

上述配置文件中，配置了YARN的主进程ResourceManager运行主机为hadoop103，将NodeManager运行时的附属服务配置为：mapreduce_shuffle以及环境变量的继承。:wq保存。

其他配置也可以参考hadoop官方文档进行，网址：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html

1.3.5 配置workers

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。:wq保存退出。

1.3.6 配置日志的聚集

1. 配置yarn-site.xml

1. 添加如下配置：

1.4 在集群上分发配置好的Hadoop配置文件

[lsjia@hadoop1020hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/

1.5 查看文件分发情况