Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。

1. 本地运行模式

1.1 `本地模式`简介

本地模式———相当于单机模式，使用的文件系统是Linux自带的文件系统，例如，在core-site.xml文件中默认就是本地模式：

<configuration>
  <!-- 指定HDFS中NameNode的地址 -->
  <property>
      <name>fs.defaultFS</name>
      <!-- file:///代表使用linux自带文件系统 -->
      <value>file:///</value>
  </property>
</configuration>

1.2 案例

# ex1：官方Grep案例
# 创建在hadoop-2.7.2文件下面创建一个input文件夹
[atguigu@hadoop101 hadoop-2.7.2]$ mkdir input
# 将Hadoop的xml配置文件复制到input
[atguigu@hadoop101 hadoop-2.7.2]$ cp etc/hadoop/*.xml input
# 执行share目录下的MapReduce程序
[atguigu@hadoop101 hadoop-2.7.2]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
# 查看输出结果
[atguigu@hadoop101 hadoop-2.7.2]$ cat output/*
# ex2：官方WordCount案例
# 创建在hadoop-2.7.2文件下面创建一个wcinput文件夹
[atguigu@hadoop101 hadoop-2.7.2]$ mkdir wcinput
# 在wcinput文件下创建一个wc.input文件
[atguigu@hadoop101 hadoop-2.7.2]$ cd wcinput
[atguigu@hadoop101 wcinput]$ touch wc.input
# 编辑wc.input文件
[atguigu@hadoop101 wcinput]$ vi wc.input
hadoop yarn
hadoop mapreduce
atguigu
atguigu
# 回到Hadoop目录/opt/module/hadoop-2.7.2
# 执行程序
[atguigu@hadoop101 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput
# 查看结果
[atguigu@hadoop101 hadoop-2.7.2]$ cat wcoutput/part-r-00000
atguigu 2
hadoop  2
mapreduce       1
yarn    1

2. 伪分布式运行模式

2.1 `伪分布式模式`简介

（1）配置与完全分布式模式完全相同，只是由于机器有限，仅仅使用一台机器做节点，就相当于在一台电脑上开虚拟机，电脑掉电则会全部挂掉（2）与本地运行模式的core-site.xml区别如下：

<configuration>
  <!-- 指定HDFS中NameNode的地址 -->
  <property>
  <name>fs.defaultFS</name>
      <value>hdfs://hadoop101:9000</value>
  </property>
</configuration>

2.2 配置步骤

2.2.1 启动`HDFS`并运行MapReduce程序

2.2.1.1 配置集群

配置/opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

# 指定JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置core-site.xml

<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
  <value>hdfs://hadoop101:9000</value>
</property>
<!-- 指定Hadoop运行时产生临时文件的存储目录 -->
<property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
</configuration>

配置hdfs-site.xml

<configuration>
<!-- 指定HDFS副本（分片）的数量，默认是3 -->
<property>
       <name>dfs.replication</name>
       <value>1</value>
</property>
     <!-- 指定Hadoop辅助名称节点主机配置 -->
<!-- （伪分布式用不到，完全分布式会配置）
<property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>hadoop103:50090</value>
</property>
</configuration>-->

2.2.1.2 启动集群

格式化NameNode（第一次启动时格式化，以后就不要总格式化）
注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。所以，格式NameNode时，一定要先删除data数据和log日志，然后再格式化NameNode。
```
[root@hadoop101 hadoop-2.7.2]# bin/hdfs namenode -format
```

启动NameNode

[root@hadoop101 hadoop-2.7.2]# sbin/hadoop-daemon.sh start namenode

启动DataNode

[root@hadoop101 hadoop-2.7.2]# sbin/hadoop-daemon.sh start datanode

2.2.1.3 查看集群

查看是否启动成功（注意：jps是JDK中的命令，不是Linux命令。不安装JDK不能使用jps）
```
[root@hadoop101 hadoop-2.7.2]# jps
2978 DataNode
3068 Jps
2878 NameNode
```
web端查看HDFS文件系统
http://hadoop101:50070
- 2.2.1.4 操作集群（看案例）
- 2.2.1.5 案例

# ex：
# 在HDFS文件系统上创建一个input文件夹
[root@hadoop101 hadoop-2.7.2]# bin/hdfs dfs -mkdir -p /user/shawn/input
# 将测试文件内容上传到HDFS文件系统上
[root@hadoop101 hadoop-2.7.2]# bin/hdfs dfs -put wcinput/wc.input /user/shawn/input
# 查看上传的文件是否正确
[root@hadoop101 hadoop-2.7.2]# bin/hdfs dfs -ls /user/shawn/input
# 运行MapReduce程序wordcount
[root@hadoop101 hadoop-2.7.2]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/shawn/input /user/shawn/output
# 查看输出结果    
[root@hadoop101 hadoop-2.7.2]# bin/hdfs dfs -cat /user/shawn/output/*
# 将测试文件内容下载到本地
[root@hadoop101 hadoop-2.7.2]# bin/hdfs dfs -get /user/shawn/output/part-r-00000 ./wcoutput/
# 删除输出结果目录
[root@hadoop101 hadoop-2.7.2]# bin/hdfs dfs -rm -r /user/shawn/output/

2.2.2 启动`YARN`并运行MapReduce程序

2.2.2.1 配置集群

配置/opt/module/hadoop-2.7.2/etc/hadoop/yarn-env.sh

# 指定JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置/opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
   <!-- Reducer获取数据的方式 -->
   <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
   </property>
   <!-- 指定YARN的ResourceManager的地址 -->
   <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>hadoop101</value>
   </property>
   <!-- 启用日志聚集功能 -->
   <property>
           <name>yarn.log-aggregation-enable</name>
           <value>true</value>
   </property>
   <!-- 日志保留时间设置7天 -->
   <property>
           <name>yarn.log-aggregation.retain-seconds</name>
           <value>604800</value>
   </property>
</configuration>

配置/opt/module/hadoop-2.7.2/etc/hadoop/mapred-env.sh

# 指定JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置： (对/opt/module/hadoop-2.7.2/etc/hadoop/mapred-site.xml.template重新命名为mapred-site.xml)

<configuration>
  <!-- 指定MR运行在YARN上 -->
  <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
  </property>
  <!-- history历史服务器端地址 -->
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>hadoop101:10020</value>
  </property>
  <!-- history历史服务器web端地址 -->
  <property>
          <name>mapreduce.jobhistory.webapp.address</name>
          <value>hadoop101:19888</value>
  </property>
</configuration>

2.2.2.2 启动集群

启动前必须保证NameNode和DataNode已经启动，参考2.2.1.2 启动集群

启动ResourceManager

[root@hadoop101 hadoop]# sbin/yarn-daemon.sh start resourcemanager

启动NodeManager

[root@hadoop101 hadoop]# sbin/yarn-daemon.sh start nodemanager

2.2.2.3 集群操作

YARN的Web端页面查看，http://hadoop101:8088/cluster

YARNweb端查看.png

删除文件系统上的output文件

[root@hadoop101 hadoop-2.7.2]# bin/hdfs dfs -rm -R /user/atguigu/output

执行MapReduce的wordcount程序

[root@hadoop101 hadoop-2.7.2]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/shawn/input /user/shawn/output

查看运行结果（上图红色区域）

2.2.3 配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

配置历史服务器（mapred-site.xml，略，2.2.2.1 配置集群时已配置）

启动历史服务器

[root@hadoop101 hadoop-2.7.2]# sbin/mr-jobhistory-daemon.sh start historyserver

查看历史服务器是否启动

[root@hadoop101 hadoop-2.7.2]# jps
5776 JobHistoryServer
2978 DataNode
5378 ResourceManager
26163 Jps
5623 NodeManager
2878 NameNode

查看JobHistory，http://hadoop101:19888/jobhistory

查看JobHistory.png

2.2.4 配置日志的聚集

日志聚集：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

配置yarn-site.xml （略，2.2.2.1 配置集群时已配置）

关闭NodeManager 、ResourceManager和HistoryManager

[root@hadoop101 hadoop-2.7.2]# sbin/yarn-daemon.sh stop resourcemanager
[root@hadoop101 hadoop-2.7.2]# sbin/yarn-daemon.sh stop nodemanager
[root@hadoop101 hadoop-2.7.2]# sbin/mr-jobhistory-daemon.sh stop historyserver

启动NodeManager 、ResourceManager和HistoryManager

[root@hadoop101 hadoop-2.7.2]# sbin/yarn-daemon.sh start resourcemanager
[root@hadoop101 hadoop-2.7.2]# sbin/yarn-daemon.sh start nodemanager

删除HDFS上已经存在的输出文件

[root@hadoop101 hadoop-2.7.2]# bin/hdfs dfs -rm -R /user/atguigu/output

执行WordCount程序

[root@hadoop101 hadoop-2.7.2]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/shawn/input /user/shawn/output

查看日志 http://hadoop101:19888/jobhistory

3. 完全分布式运行模式（开发重点）

完全分布式模式———多台机器集群运行

3.1 分析步骤

分析：
1）准备3台客户机（关闭防火墙、静态ip、主机名称）
2）安装JDK
3）配置环境变量
4）安装Hadoop
5）配置环境变量
6）配置集群
7）单点启动
8）配置ssh互信
9）群起并测试集群

3.2 `scp`命令

3.2.1 简介

scp（secure copy）安全拷贝———可以实现服务器与服务器之间的数据拷贝

3.2.2 基本语法

 scp     -r         $pdir/$fname      $user@$host:$pdir/$fname
 命令   递归        源文件路径/名称    目的地用户@主机:目的路径/名称

3.3 `rsync`命令

3.3.1 简介

rsync远程同步工具，主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。

3.3.2 基本语法

rsync    -rvl    $pdir/$fname            $user@hadoop$host:$pdir/$fname
命令   选项参数   要拷贝的文件路径/名称    目的用户@主机:目的路径/名称

选项	功能
-r	递归
-v	显示复制过程
-l	拷贝符号连接

使用rsync编写集群分发脚本xsync.sh

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5.循环
for((host=102;host<104;host++));
do
        echo -----------------hadoop$host-------------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

3.4 集群配置

3.4.1 集群部署规划

NameNode、DataNode和ResourceManager差不多是1:1:1的内存占用，所以要分开规划

-	hadoop101	hadoop102	hadoop103
HDFS	NameNode、DataNode	DataNode	SecondaryNameNode、DataNode
YARN	NodeManager	ResourceManager、NodeManager	NodeManager

3.4.2 配置集群

核心配置文件

core-site.xml ```xml fs.defaultFS hdfs://hadoop101:9000

<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>

```

HDFS配置文件
- hadoop-env.sh
```
# 配置JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
```
- hdfs-site.xml ```xml
  dfs.replication 3

dfs.namenode.secondary.http-address hadoop103:50090

- YARN配置文件
   - `yarn-env.sh`

shell # 配置JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144

- `yarn-site.xml`

xml yarn.nodemanager.aux-services mapreduce_shuffle

yarn.resourcemanager.hostname hadoop102


- MapReduce配置文件
   - `mapred-env.sh`
```shell
# 配置JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144

mapred-site.xml

<!-- 指定MR运行在YARN上 -->
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>
<!-- history历史服务器端地址 -->
<property>
   <name>mapreduce.jobhistory.address</name>
   <value>hadoop101:10020</value>
</property>
<!-- history历史服务器web端地址 -->
<property>
   <name>mapreduce.jobhistory.webapp.address</name>
   <value>hadoop101:19888</value>
</property>

最后使用xsync分发脚本同步

3.4.3 集群单点启动

如果集群是第一次启动，需要格式化NameNode，注意：格式化之前先删除$HADOOP/data和$HADOOP/logs两个目录

在hadoop101上启动NameNode

[root@hadoop101 hadoop-2.7.2]# sbin/hadoop-daemon.sh start namenode

在hadoop101、hadoop102以及hadoop103上分别启动DataNode

[root@hadoop101 hadoop-2.7.2]# sbin/hadoop-daemon start datanode
[root@hadoop102 hadoop-2.7.2]# sbin/hadoop-daemon start datanode
[root@hadoop103 hadoop-2.7.2]# sbin/hadoop-daemon start datanode

3.4.4 SSH无密互信登录配置

基本语法
```
ssh 另一台电脑的ip地址
```
无密互信登录配置原理

SSH无密登录原理图.png

生成公钥和私钥

# 首先进入所属用户的根目录，然后查看隐藏文件
ls -al
# 进入.ssh目录，rsa是一种加密算法，然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥），执行：
ssh-keygen -t rsa
# 将公钥拷贝到要免密登录的目标机器上，其他2个机器同样生成并拷贝，此处省略
ssh-copy-id hadoop101
ssh-copy-id hadoop102
ssh-copy-id hadoop103

.ssh文件夹下（~/.ssh）的文件功能解释 | known_hosts | 记录ssh访问过计算机的公钥(public key) | | —- | —- | | id_rsa | 生成的私钥 | | id_rsa.pub | 生成的公钥 | | authorized_keys | 存放授权过得无密登录服务器公钥 |

3.4.5 群起集群

配置/opt/module/hadoop-2.7.2/etc/hadoop/slaves
```
hadoop101
hadoop102
hadoop103
```

同步所有节点配置文件

[root@hadoop101 hadoop-2.7.2]# xsync.sh etc/hadoop/slaves

启动集群
- 如果集群是第一次启动，需要格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据后再格式化）
```
[root@hadoop101 hadoop-2.7.2]# bin/hdfs namenode -format
[root@hadoop102 hadoop-2.7.2]# bin/hdfs namenode -format
[root@hadoop103 hadoop-2.7.2]# bin/hdfs namenode -format
```
- 启动HDFS
```
[root@hadoop101 hadoop-2.7.2]# sbin/start-dfs.sh
```
- 启动YARN
  注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。
```
[root@hadoop102 hadoop-2.7.2]# sbin/start-yarn.sh
```
- Web端查看SecondaryNameNodehttp://hadoop103:50090/status.html

集群基本测试

上传文件到集群

# 先创建上传目录
hdfs dfs -mkdir -p /user/shawn/input
# 上传小文件
hdfs dfs -put wcinput/wc.input /user/shawn/input
# 上传大文件
bin/hadoop fs -put /opt/software/hadoop-2.7.2.tar.gz  /user/shawn/input

上传文件后查看文件存放在什么位置

/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-938951106-192.168.10.107-1495462844069/current/finalized/subdir0/subdir0

查看HDFS在磁盘存储文件内容

cat blk_1073741825
hadoop yarn
hadoop mapreduce 
atguigu
atguigu

拼接大文件分块后的小文件，然后可以直接使用

cat blk_1073741836>>tmp.txt
cat blk_1073741837>>tmp.txt
tar -zxvf tmp.txt

3.4.6 集群启动/停止总结

3.4.6.1 各个服务组件逐一启动/停止

分别启动/停止HDFS组件

hadoop-daemon.sh  start / stop  namenode / datanode / secondarynamenode

分别启动/停止YRAN组件

yarn-daemon.sh  start / stop  resourcemanager / nodemanager

3.4.6.2 （常用）各个模块分开启动/停止（配置ssh是前提）

整体启动/停止HDFS

sbin/start-dfs.sh   /  sbin/stop-dfs.sh

整体启动/停止YARN

sbin/start-yarn.sh  /  sbin/stop-yarn.sh

Hadoop

六、Hadoop安装部署

1. 本地运行模式

1.1 `本地模式`简介

1.2 案例

2. 伪分布式运行模式

2.1 `伪分布式模式`简介

2.2 配置步骤

2.2.1 启动`HDFS`并运行MapReduce程序

2.2.1.1 配置集群

2.2.1.2 启动集群

2.2.1.3 查看集群

2.2.2 启动`YARN`并运行MapReduce程序

2.2.2.1 配置集群

2.2.2.2 启动集群

2.2.2.3 集群操作

2.2.3 配置历史服务器

2.2.4 配置日志的聚集

3. 完全分布式运行模式（开发重点）

3.1 分析步骤

3.2 `scp`命令

3.2.1 简介

3.2.2 基本语法

3.3 `rsync`命令

3.3.1 简介

3.3.2 基本语法

使用`rsync`编写集群分发脚本`xsync.sh`

3.4 集群配置

3.4.1 集群部署规划

3.4.2 配置集群

3.4.3 集群单点启动

3.4.4 SSH无密互信登录配置

3.4.5 群起集群

3.4.6 集群启动/停止总结

3.4.6.1 各个服务组件逐一启动/停止

3.4.6.2 （常用）各个模块分开启动/停止（配置ssh是前提）

六、Hadoop安装部署

1. 本地运行模式

1.1 本地模式简介

1.2 案例

2. 伪分布式运行模式

2.1 伪分布式模式简介

2.2 配置步骤

2.2.1 启动HDFS并运行MapReduce程序

2.2.1.1 配置集群

2.2.1.2 启动集群

2.2.1.3 查看集群

2.2.2 启动YARN并运行MapReduce程序

2.2.2.1 配置集群

2.2.2.2 启动集群

2.2.2.3 集群操作

2.2.3 配置历史服务器

2.2.4 配置日志的聚集

3. 完全分布式运行模式（开发重点）

3.1 分析步骤

3.2 scp命令

3.2.1 简介

3.2.2 基本语法

3.3 rsync命令

3.3.1 简介

3.3.2 基本语法

使用rsync编写集群分发脚本xsync.sh

3.4 集群配置

3.4.1 集群部署规划

3.4.2 配置集群

3.4.3 集群单点启动

3.4.4 SSH无密互信登录配置

3.4.5 群起集群

3.4.6 集群启动/停止总结

3.4.6.1 各个服务组件逐一启动/停止

3.4.6.2 （常用）各个模块分开启动/停止（配置ssh是前提）

1.1 `本地模式`简介

2.1 `伪分布式模式`简介

2.2.1 启动`HDFS`并运行MapReduce程序

2.2.2 启动`YARN`并运行MapReduce程序

3.2 `scp`命令

3.3 `rsync`命令

使用`rsync`编写集群分发脚本`xsync.sh`