准备条件：java环境，设置hadoop用户，下载hadoop,若没有配置看前面伪分布教程。

三台虚拟机的IP与名字（名字随便起）

主节点：

192.168.18.135 master

子节点：

192.168.18.139 s1

192.168.18.140 s2

一.修改hostname 及 hosts

修改hostname,对应的IP虚拟机该为对应的名字。

sudo vim /etc/hostname

centos7安装hadoop3分布式 - 图1

修改hosts文件，添加映射，类似于DNS解析

sudo vim /etc/hosts

三台都添加，下面内容，

  1. 192.168.18.135  master
  2. 192.168.18.139  s1
  3. 192.168.18.140  s2

然后分别在三台虚拟机上运行下面的命令

  1. ping master -c 3
  2. ping s1 -c 3
  3. ping s2 -c 3

若能ping 通就行了

centos7安装hadoop3分布式 - 图2

，若ping不通，把名字改为ip地址再尝试，若行则是上面的步骤没有设置好，若还不行则是网卡没有配置好，可以看看我另外一篇文章。

ssh免密码登录

这个操作是要让 Master 节点可以无密码 SSH 登陆到各个子节点上。

注意自己节点的名字

在主节点上操作

首先生成 Master 节点的公匙，在 Master 节点的终端中执行（因为改过主机名，所以还需要删掉原有的再重新生成一次）： 
  1. cd ~/.ssh               # 如果没有该目录，先执行一次ssh localhost
  2. rm ./id_rsa*            # 删除之前生成的公匙（如果有）
  3. ssh-keygen -t rsa       # 一直按回车就可以、
  4. cat ./id_rsa.pub >> ./authorized_keys  #让 Master 节点需能无密码 SSH 本机

完成后可执行 ssh Master 验证一下（可能需要输入 yes，成功后执行 exit 返回原来的终端）。接着在 Master 节点将上公匙传输到s1子节点：

模板：scp ~/.ssh/id_rsa.pub 用户名@子节点名字:/home/hadoop/

把公钥传到子节点

s1子节点：

scp ~/.ssh/id_rsa.pub hadoop@s1:/home/hadoop/

输入子节点的密码后传输成功：

centos7安装hadoop3分布式 - 图3

s2子节点：

scp ~/.ssh/id_rsa.pub hadoop@s2:/home/hadoop/

在子节点上操作

分别在子节点执行下面的命令，将 ssh 公匙加入授权： 
  1. mkdir ~/.ssh       # 如果不存在该文件夹需先创建，若已存在则忽略
  2. cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
  3. rm ~/id_rsa.pub    # 用完就可以删掉了

检验主节点是否可以免密登录子节点

在主节点上执行：ssh 子节点名字

exit //登出

ssh s1

不输入密码登录就代表成功。

centos7安装hadoop3分布式 - 图4

配置PATH变量

（CentOS 伪分布式配置 Hadoop 的教程中有配置这一项了，这一步可以跳过）

将 Hadoop 安装目录加入 PATH 变量中，这样就可以在任意目录中直接使用 hadoo、hdfs 等命令了，如果还没有配置的，需要在 Master 节点上进行配置。首先执行vim ~/.bashrc，加入一行：

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

保存后执行 source ~/.bashrc 使配置生效。

配置集群/分布式环境

集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件，更多设置项可点击查看官方说明，这里仅设置了正常启动所必须的设置项： workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。 1, 文件 workers(hadoop3版本之前叫做slaves)，将作为 DataNode 的主机名写入该文件，每行一个，默认为 localhost，所以在伪分布式配置时，节点即作为 NameNode 也作为 DataNode。分布式配置可以保留 localhost，也可以删掉，让 Master 节点仅作为 NameNode 使用。 本教程让 Master 节点仅作为 NameNode 使用，因此将文件中原来的 localhost 删除，添加：s1 s2 2, 文件 core-site.xml 改为下面的配置：

vi /usr/local/hadoop/etc/hadoop/core-site.xml

注意：

fs.defaultFS中master是我主节点的名字

  2. <configuration>
  3.   <!-- 指定使用hadoop时产生文件的存放目录-->
  4.     <property>
  5.         <name>hadoop.tmp.dir</name>
  6.         <value>file:/usr/local/hadoop/tmp</value>
  7.         <description>Abase for other temporary directories.</description>
  8.     </property>
  9.   <!-- 指定namenode的地址-->
  10.     <property>
  11.         <name>fs.defaultFS</name>
  12.         <value>hdfs://master:9000</value>
  13.     </property>
  14. </configuration>
3, 文件 hdfs-site.xml，

注意：dfs.replication 你有几个子节点就设置几个，我有两个s1与s2节点，所以 dfs.replication 的值是设为 2。

dfs.secondary.http.address中master是我主节点的名字。

vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml

  2. <configuration>
  3.   <!-- 指定hdfs保存副本的数量-->
  4.     <property>
  5.         <name>dfs.replication</name>
  6.         <value>2</value>
  7.     </property>
  9.     <property>
  10.         <name>dfs.namenode.name.dir</name>
  11.         <value>file:/usr/local/hadoop/tmp/dfs/name</value>
  12.     </property>
  13.     <property>
  14.         <name>dfs.datanode.data.dir</name>
  15.         <value>file:/usr/local/hadoop/tmp/dfs/data</value>
  16.     </property>
  17.   <property>
  18.   <name>dfs.http.address</name>
  19.   <value>127.0.0.1:50070</value>
  20. </property>
  21. <property>
  22.         <name>dfs.secondary.http-address</name>
  23.         <value>master:50090</value>
  24.     </property>
  25. </configuration>
4，文件 mapred-site.xml （打开后若是新创建的文件则需要先重命名，默认文件名为 mapred-site.xml.template，），然后配置修改如下：

vi /usr/local/hadoop/etc/hadoop**/mapred-site.xml**

注意文件中两处主节点的名字。

  1. <configuration>
  2.         <property>
  3.                 <name>mapreduce.framework.name</name>
  4.                 <value>yarn</value>
  5.         </property>
  6.         <property>
  7.                 <name>mapreduce.jobhistory.address</name>
  8.                 <value>master:10020</value>
  9.         </property>
  10.         <property>
  11.                 <name>mapreduce.jobhistory.webapp.address</name>
  12.                 <value>master:19888</value>
  13.         </property>
  14. </configuration>
5, 文件 yarn-site.xml：

vi /usr/local/hadoop/etc/hadoop**/yarn-site.xml**

注意文件中一处主节点的名字。

  1. <configuration>
  2.         <property>
  3.                 <name>yarn.resourcemanager.hostname</name>
  4.                 <value>master</value>
  5.         </property>
  6.         <property>
  7.                 <name>yarn.nodemanager.aux-services</name>
  8.                 <value>mapreduce_shuffle</value>
  9.         </property>
  10. </configuration>
配置好后，将 master 上的 /usr/local/Hadoop 文件夹复制到各个节点上。因为之前有跑过伪分布式模式，建议在切换到集群模式前先删除之前的临时文件。

在 master 节点上执行：

  1. cd /usr/local
  2. sudo rm -r ./hadoop/tmp/*    # 删除 Hadoop 临时文件
  3. sudo rm -r ./hadoop/logs/*   # 删除日志文件
  4. tar -zcf ~/hadoop.master.tar.gz ./hadoop   # 先压缩再复制
  5. cd ~
  6. scp ./hadoop.master.tar.gz s1:/home/hadoop #传输到所有子节点上

在子节点上分别执行

  1. sudo rm -r /usr/local/hadoop    # 删掉旧的（如果存在）
  2. sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local
  3. sudo chown -R hadoop /usr/local/hadoop
同样，如果有其他 Slave 节点，也要执行将 hadoop.master.tar.gz 传输到 Slave 节点、在 Slave 节点解压文件的操作。 首次启动需要先在 Master 节点执行 NameNode 的格式化：

hdfs namenode -format # 首次运行需要执行初始化，之后不需要

CentOS系统需要关闭防火墙

CentOS系统默认开启了防火墙，在开启 Hadoop 集群之前，需要关闭集群中每个节点的防火墙。有防火墙会导致 ping 得通但 telnet 端口不通，从而导致 DataNode 启动了，但 Live datanodes 为 0 的情况。所有节点都要关闭 CentOS 7，需通过如下命令关闭（防火墙服务改成了 firewall）,： 
  1. systemctl stop firewalld.service    # 关闭firewall
  2. systemctl disable firewalld.service # 禁止firewall开机启动
接着可以启动 hadoop 了，启动需要在 Master 节点上进行： 
  1. start-dfs.sh
  2. start-yarn.sh

主节点：

centos7安装hadoop3分布式 - 图5

子节点：

centos7安装hadoop3分布式 - 图6