集群规划

服务器IP 192.168.227.133 192.168.227.135 192.168.227.136
主机名 node1 node2 node3
NameNode 是 否 否
SecondaryNameNode 是 否 否
dataNode 是 是 是
ResourceManager 是 否 否
NodeManager 是 是 是

下载

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/

解压和上传

  1. cd /usr/local/src/hadoop
  2. tar -zxvf hadoop-3.2.2.tar.gz

修改hosts文件
image.png
vi /etc/sysconfig/network
image.png
然后重启 reboot

修改环境变量

  1. vi /etc/profile
  2. export HADOOP_HOME=/usr/local/src/hadoop/hadoop-3.3.2
  3. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  4. source /etc/profile

vi /etc/selinux/config
改为

  1. SELINUX=disabled

创建hadoop生成的存放位置

  1. cd /usr/local/src/hadoop/hadoop-3.3.2/
  2. mkdir -p data

image.png
修改配置文件
找到/etc/hadoop/core-site.xml

  1. <configuration>
  3.   <property>
  4.     <name>fs.default.name</name>
  5.     <value>hdfs://node1:8020</value>
  6.   </property>
  8.   <property>
  9.     <name>hadoop.tmp.dir</name>
  10.     <value>/usr/local/src/hadoop/hadoop-3.3.2/data/tmp</value>
  11.   </property>
  15.   <property>
  16.     <name>io.file.buffer.size</name>
  17.     <value>4096</value>
  18.   </property>
  21.   <property>
  22.     <name>fs.trash.interval</name>
  23.     <value>10080</value>
  24.   </property>
  25. </configuration>

mapred-site.xml

  1. <configuration>
  3.     <property>
  4.         <name>mapreduce.job.ubertask.enable</name>
  5.         <value>true</value>
  6.     </property>
  9.     <property>
  10.         <name>mapreduce.jobhistory.address</name>
  11.         <value>node1:10020</value>
  12.     </property>
  15.     <property>
  16.         <name>mapreduce.jobhistory.webapp.address</name>
  17.         <value>node1:19888</value>
  18.     </property>
  20. </configuration>

hdfs-site.xml

  1. <configuration>
  2.      <property>
  3.             <name>dfs.namenode.secondary.http-address</name>
  4.             <value>node1:50090</value>
  5.     </property>
  7.     <property>
  8.         <name>dfs.namenode.http-address</name>
  9.         <value>node1:50070</value>
  10.     </property>
  11.     <property>
  12.         <name>dfs.namenode.name.dir</name>
  13.         <value>file:///usr/local/src/hadoop/hadoop-3.3.2/data/namenodeData1,file:///usr/local/src/hadoop/hadoop-3.3.2/data/namenodeData2</value>
  14.     </property>
  16.     <property>
  17.         <name>dfs.datanode.data.dir</name>
  18.         <value>file:///usr/local/src/hadoop/hadoop-3.3.2/data/datanodeData1,file:///usr/local/src/hadoop/hadoop-3.3.2/data/datanodeData2</value>
  19.     </property>    
  21.     <property>
  22.         <name>dfs.namenode.edits.dir</name>
  23.         <value>file:///usr/local/src/hadoop/hadoop-3.3.2/data/edits</value>
  24.     </property>
  26.     <property>
  27.         <name>dfs.namenode.checkpoint.dir</name>
  28.         <value>file:///usr/local/src/hadoop/hadoop-3.3.2/data/checkpoint</value>
  29.     </property>
  31.     <property>
  32.         <name>dfs.namenode.checkpoint.edits.dir</name>
  33.         <value>file:///usr/local/src/hadoop/hadoop-3.3.2/data/checkpointEdits</value>
  34.     </property>
  36.     <property>
  37.         <name>dfs.replication</name>
  38.         <value>3</value>
  39.     </property>
  41.     <property>
  42.         <name>dfs.permissions</name>
  43.         <value>false</value>
  44.     </property>
  46.     <property>
  47.         <name>dfs.blocksize</name>
  48.         <value>134217728</value>
  49.     </property>
  50. </configuration>

yarn-site.xml

  1. <configuration>
  2.     <property>
  3.         <name>yarn.resourcemanager.hostname</name>
  4.         <value>node1</value>
  5.     </property>
  6.     <property>
  7.         <name>yarn.nodemanager.aux-services</name>
  8.         <value>mapreduce_shuffle</value>
  9.     </property>
  11.     <property>
  12.         <name>yarn.log-aggregation-enable</name>
  13.         <value>true</value>
  14.     </property>
  15.     <property>
  16.         <name>yarn.log-aggregation.retain-seconds</name>
  17.         <value>604800</value>
  18.     </property>
  19.     <property>    
  20.         <name>yarn.nodemanager.resource.memory-mb</name>    
  21.         <value>20480</value>
  22.     </property>
  23.     <property>  
  24.     <name>yarn.scheduler.minimum-allocation-mb</name>
  25.        <value>2048</value>
  26.     </property>
  27.     <property>
  28.         <name>yarn.nodemanager.vmem-pmem-ratio</name>
  29.         <value>2.1</value>
  30.     </property>
  32. </configuration>

hadoop-env.sh

  1. JAVA_HOME=/usr/local/src/jdk/jdk1.8.0_331

mapred-env.sh

  1. export JAVA_HOME=/usr/local/src/jdk/jdk1.8.0_331

修改root权限

stop-yarn.sh 和start-yarn.sh

  1. #!/usr/bin/env bash
  2. YARN_RESOURCEMANAGER_USER=root
  3. HADOOP_SECURE_DN_USER=yarn
  4. YARN_NODEMANAGER_USER=root

stop-dfs.sh和start-dfs.sh

  1. #!/usr/bin/env bash
  2. HDFS_DATANODE_USER=root
  3. HADOOP_SECURE_DN_USER=hdfs
  4. HDFS_NAMENODE_USER=root
  5. HDFS_SECONDARYNAMENODE_USER=root

如果不修改，那么在root权限无法启动hadoop

克隆

image.png
克隆完就是一些设置
将每个克隆出来的hosts修改，为对应的node名
然后再Windows修改hosts
C:\Windows\System32\drivers\etc
image.png

修改slaves

注意：hadoop版本是2x，需要修改这个文件，而3x版本需要修改workers，把localhost修改为下面的文本
第一台机器执行以下命令

  1. cd  /export/servers/hadoop-2.7.5/etc/hadoop
  2. vim slaves
  1. node1
  2. node2
  3. node3

安装包的分发

第一台机器执行以下命令

  1. cd  /export/servers/
  2. scp -r hadoop-2.7.5 node2:$PWD
  3. scp -r hadoop-2.7.5 node3:$PWD

启动集群

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个模块。
注意： 首次启动 HDFS 时，必须对其进行格式化操作。 本质上是一些清理和
准备工作，因为此时的 HDFS 在物理上还是不存在的。

hdfs namenode -format 或者
hadoop namenode –format
启动

  1. sbin/start-all.sh
  2. sbin/mr-jobhistory-daemon.sh start historyserver

三个端口查看界面

http://node01:50070/explorer.html#/](http://node01:50070/explorer.html#/) 查看hdfs

http://node01:8088/cluster 查看yarn集群

http://node01:19888/jobhistory 查看历史完成的任务
正常启动图
只需要启动node1就可以了，其余虚拟机会自动启动，如果没有启动成功就要去检查那里没写对
node1
image.png
node2
image.png
node3
image.png