参考：

Hadoop有以下三种运行模式。

  • 独立(或本地)模式(Local (Standalone) Mode)**无需运行任何守护进程， 所有程序都在同一个JVM上执行。在独立模式下测试和调试MapReduce程序很方便，因此该模式在开发阶段比较合适。
  • 伪分布模式(Pseudo-Distributed Mode)
    Hadoop 守护进程运行在本地机器上，模拟一个小规模的集群。
  • 全分布模式(Fully-Distributed Mode)
    Hadoop 守护进程运行在一个集群上。

所以，在单机上安装Hadoop来尝试一下是非常容易的。接下来将介绍如何使用一个Apache Software Foundation 发布的二进制压缩包安装 Hadoop Common、HDFS、MapReduce和YARN。另一种方法是使用一个虚拟机(例如Cloudera的Quick Start虚拟机)进行安装，虚拟机自带有预装和配置好的Hadoop服务。

接下来的安装指导方法适用于基于 Unix 的系统，包括MAC OS X(虽然它不是一个产品平台，但是非常适用于开发)。

1 先决条件(Prerequisites)

必须确保安装的是合适版本的Java。可以通过Hadoop wiki查看所安装版本的信息。

以下命令可以帮助确认Java是正确安装的。

  1. $ vi /etc/profile.d/java.sh                 # 配置java环境变量
  2. export JRE_HOME=/usr/java/jdk1.7.0_25/jre
  3. export JAVA_HOME=/usr/java/jdk1.7.0_25
  4. export PATH=$PATH:$JAVA_HOME/bin
  5. export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  6. $ java -version
  7. java version "1.7.0_25"
  8. Java(TM) SE Runtime Environment (build 1.7.0_25-b15)
  9. Java HotSpot(TM) 64-Bit Server VM (build 23.25-b01, mixed mode)

2 安装

首先，决定以什么用户的身份来运行Hadoop。如果只是想试用Hadoop或者开发Hadoop程序，可以用用户账号在单机上运行Hadoop。
从Apache Hadoop 发布页面下载一个稳定版的发布包(通常打包为一个gzipped tar文件)，再解压缩到本地文件系统（下载地址，http://archive.apache.org/dist/hadoop/core/stable/）：

  1. $ tar -xzf hadoop-x.y.z.tar.gz

在运行Hadoop 安装程序之前，需要指定Java在本地系统中的路径。如果系统的 JAVA_HOME 环境变量已经正确地指向一个Java 安装路径，且用户也希望使用该Java安装路径，则无需进行其他配置。（这通常在一个shell 启动文件中设置，例如 ~/.bash_profile 或 ~/.bashrc）。否则，仍然需要编辑conf目录下的 hadoop-env.sh 文件来设置 JAVA_HONE 环境变量以指定Java安装路径。
很容易创建指向Hadoop安装目录(依照惯例是HADOOP_HOME)的环境变量：此外，还要将Hadoop的二进制目录添加到命令行路径上。例如：

  1. $ export HADOOP_HOME=~/sw/hadoop-x.y.z
  2. $ export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

注意，sbin 目录下有运行Hadoop守护进程的脚本，因此如果计划在本地机器上运行守护进程的话，需要将该目录包含进命令行路径中。
输入以下指令来判断Hadoop是否工作：

$ hadoop version
Hadoop 2.5.1
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 2e18d179e4a8065
b6a9f29cf2de9451891265cce
Compiled by jenkins on 2014-09-05T23:11Z
Compiled with protoc 2.5.0
From source with checksum 6424fcab95bfff8337780a181ad7c78
This command was run using /opt/module/hadoop-2.5.1/share/hadoop/common/hadoop-common-2.5.1.jar

3 配置

Hadoop的各个组件均可利用XML文件进行配置。

  • core-site.xml 文件用于配置通用属性
  • hdfs-site.xml 文件用于配置HDFS属性
  • mapred-site.xml 文件则用于配置MapReduce属性
  • yarn-site.xml 文件用于配置YARN属性。

这些配置文件都放在 etc/hadoop 子目录中。
上述配置文件中的属性都有默认设置，分别保存在Hadoop 安装路径的 share/doc 子目录下的四个HTML文件中，即 core-default.html、hdfs-default.html、mapred-default.html和yarn-default.xml。

Hadoop有3种运行模式。在特定模式下运行Hadoop需要关注两个因素：正确设置属性和启动 Hadoop守护进程。下表列举了配置各种模式所需要的最小属性集合。在独立模式下，将使用本地文件系统和本地MapReduce作业运行器；在分布模式下，将启动HDFS和YARN守护进程，此外还需配置MapReduce以便能够使用YARN。

表 - 不同模式的关键配置属性

组件名称 属性名称 独立模式 伪分布式模式 全分布模式
common fs.defaultFS file:///（默认） hdfs://localhost/ hdfs://namenode/
HDFS dfs.replication N/A 1 3（默认）
MapReduce mapreduce.framework.name local（默认） Yarn Yarn
YARN yarn.resourcemanager.hostname N/A localhost resourcemanager
yarn.nodemanager.aux-services N/A mapreduce_shuffle mapreduce_shuffle

4 独立模式

默认情况下，默认属性专为本模式所设定，且本模式无需运行任何守护进程，因此在独立模式下不需要更多操作。Hadoop被配置为以非分布式模式运行单个Java进程。这对于调试非常有用。

$ tar -zxvf hadoop-2.5.1.tar.gz - C /opt/module/

4.1 官方grep案例

下面的示例复制未打包的conf目录作为输入，然后查找并显示给定正则表达式的每个匹配项。输出被写入给定的输出目录。

$ mkdir input
$ cp etc/hadoop/*.xml input
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar grep /home/jack/input /home/jack/output 'dfs[a-z.]+'
··· ···
$ cat ~/output/*
1       dfsadmin

4.2 官方WordCount案例

$ mkdir wcinput
$ cd wcinput
$ touch wc.input
$ vi wc.input
hadoop yarn
hadoop mapreduce
jack
jack
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar wordcount wcinput wcoutput
··· ···
$ cat wcoutput/part-r-00000
jack 2
hadoop 2
mapreduce 1
yarn 1

5 伪分布模式

Hadoop也可以在单节点上以伪分布式模式运行，其中每个Hadoop守护进程运行在单独的Java进程中。

当前测试主机的ip地址为 192.168.32.130 ，主机名为 hadoop101 。

5.1 启动 HDFS 并运行 MapReduce 程序

5.1.1 配置

配置 etc/hadoop/hadoop-env.sh ，修改 JAVA_HOME 环境：

export JAVA_HOME=/usr/java/jdk1.7.0_25

配置 core-site.xml ：

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://192.168.32.130:8020</value>
  <description>指定 HDFS 中 NameNode 的ip地址和端口</description>
</property>

<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/module/hadoop-2.5.1/data/tmp</value>
  <description>指定 Hadoop 运行时产生文件的存储目录</description>
</property>

配置 hdfs-site.xml ：

<!-- 指定 HDFS 副本的数量 -->
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

5.1.2 启动集群

（a）格式化 NameNode（第一次启动时格式化，以后就不要总格式化）

$ bin/hdfs namenode -format

（b）启动 NameNode

$ sbin/hadoop-daemon.sh start namenode

（c）启动 DataNode

$ sbin/hadoop-daemon.sh start datanode

（d）查看是否启动成功
注意：jps 是 JDK 中的命令，不是 Linux 命令。不安装 JDK 不能使用 jps

$ jps
2869 NameNode
9101 Jps
2995 DataNode

（e）web 端查看 HDFS 文件系统

（f）查看产生的 Log 日志
说明：在企业中遇到 Bug 时，经常根据日志提示信息去分析问题、解决 Bug。
当前目录：/opt/module/hadoop-2.5.1/logs

$ ls
hadoop-jack-datanode-hadoop.atguigu.com.log hadoop-jack-datanode-hadoop.atguigu.com.out
hadoop-jack-namenode-hadoop.atguigu.com.log hadoop-jack-namenode-hadoop.atguigu.com.out
SecurityAuth-root.audit
$ cat  hadoop-jack-datanode-hadoop101.log

（g）注意：不能一直格式化 NameNode。

$ cd data/tmp/dfs/name/current/
$ cat VERSION
clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837

$ cd data/tmp/dfs/data/current/
$ cat VERSION
clusterID=CID-f0330a58-36fa-4a2a-a65f-2688269b5837

注意：格式化 NameNode，会产生新的集群 id,导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。所以，格式 NameNode 时，一定要先删除data 数据和 log 日志，然后再格式化 NameNode。

5.1.3 操作集群

（a）在 HDFS 文件系统上创建一个 input 文件夹

$ bin/hdfs dfs -mkdir -p /user/jack/input

（b）将测试文件内容上传到文件系统上

$bin/hdfs dfs -put wcinput/wc.input /user/jack/input/

（c）查看上传的文件是否正确

$    bin/hdfs dfs -ls /user/jack/input/    
$    bin/hdfs dfs -cat /user/jack/ input/wc.input

（d）运行 MapReduce 程序

$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar \
wordcount /user/jack/input /user/jack/output

（e）查看输出结果，命令行查看：

$ bin/hdfs fs -cat /user/jack/output/*

（f）将测试文件内容下载到本地

$ hdfs dfs -get /user/jack/output/part-r-00000 ./wcoutput/

（g）删除输出结果

$ hdfs dfs -rm -r /user/jack/output

5.2 启动 YARN 并运行 MapReduce 程序

5.2.1 配置

配置 yarn-env.sh、mapred-env.sh，配置一下 JAVA_HOME 环境：

export JAVA_HOME=/usr/java/jdk1.7.0_25

（b）配置 yarn-site.xml：

<!-- Reducer 获取数据的方式 -->
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>192.168.32.130</value>
</property>

（c）配置 (对 mapred-site.xml.template 重新命名为) mapred-site.xml： 

<!--
$ mv mapred-site.xml.template mapred-site.xml
$ vi mapred-site.xml
 -->
<!-- 指定 MR 运行在 YARN 上 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

5.2.2 启动集群

（a）启动前必须保证 NameNode 和 DataNode 已经启动
（b）启动 ResourceManager

$ sbin/yarn-daemon.sh start resourcemanager

（c）启动 NodeManager

$ sbin/yarn-daemon.sh start nodemanager

（d）查看是否启动成功

$ jps
9304 Jps
3434 NodeManager
3329 ResourceManager

（d）YARN 的浏览器页面查看

  • http://192.168.32.130:8088/

  • http://:8088/

    5.2.3 操作集群

    （a）删除文件系统上的 output 文件

    $ bin/hdfs dfs -rm -R /user/jack/output

    （b）执行 MapReduce 程序

    $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar \
wordcount /user/jack/input /user/jack/output

    （c）查看运行结果

    $ bin/hdfs dfs -cat /user/jack/output/*

    5.3 配置历史服务器

    为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：
    配置 mapred-site.xml：

    <property>
<name>mapreduce.jobhistory.address</name>
<value>192.168.32.130:10020</value>
<description> 历史服务器端 IPC 地址/MapReduce JobHistory Server IPC</description>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>192.168.32.130:19888</value>
<description> 历史服务器 web端 地址</description>
</property>

    启动历史服务器，查看历史服务器是否启动：

    $ sbin/mr-jobhistory-daemon.sh start historyserver
$ jps
9320 Jps
3821 JobHistoryServer

    查看 JobHistory

  • http://192.168.32.130:19888/

  • http://:19888/

    5.4 配置日志的聚集

    日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。
    日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
    注意 ： 开启日志聚集功能，需要重新启动NodeManager、ResourceManager 和 HistoryManager。

开启日志聚集功能具体步骤如下：
配置 yarn-site.xml：

<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
  <description>日志聚集功能</description>
</property>

<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
  <description> 日志保留时间设置 7 天 </description>
</property>

关闭 NodeManager 、ResourceManager 和 HistoryManager

$ sbin/yarn-daemon.sh stop resourcemanager
$ sbin/yarn-daemon.sh stop nodemanager
$ sbin/mr-jobhistory-daemon.sh stop historyserver

启动 NodeManager 、ResourceManager 和 HistoryManager

$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager
$ sbin/mr-jobhistory-daemon.sh start historyserver

删除 HDFS 上已经存在的输出文件，执行 WordCount 程序。

$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar \
wordcount /user/jack/input /user/jack/output
$ bin/hdfs dfs -cat /user/jack/output/*

查看日志。

5.5 配置文件说明

Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

（1）默认配置文件：

要获取的默认文件 文件存放在 Hadoop 的 jar 包中的位置
[core-default.xml] hadoop-common-2.5.1.jar/core-default.xml
[hdfs-default.xml] hadoop-hdfs-2.5.1.jar/hdfs-default.xml
[yarn-default.xml] hadoop-yarn-common-2.5.1.jar/yarn-default.xml
[mapred-default.xml] hadoop-mapreduce-client-core-2.5.1.jar/mapred-default.xml

（2）自定义配置文件：
core-site.xml 、 hdfs-site.xml 、 yarn-site.xml 、 mapred-site.xml 四个配置文件存放在
$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

也可以把 etc/hadoop 目录复制到另一个位置，然后把 *-site.xml 这些配置文件放在该目录下。这种方法的优点是，将配置设置和安装文件隔离开。如果这么做的话，那么需要将环境变量 HADOOP_CONF_DIR 设置成指向那个新目录，或确定在启动守护进程时使用 --config 选项)。

伪分布式环境中，配置文件的关键内容总结如下：

<?xml version="1.0"?>
<!-- core-site.xml -->
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost/</value>
  </property>
</configuration>

<?xml version="1.0"?>
<!-- hdfs-site.xml -->
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

<?xml version="1.0"?>
<!-- mapred-site.xml -->
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

<?xml version="1.0"?>
<!-- yarn-site.xml -->
<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>localhost</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

5.6 配置SSH

如前所述，在伪分布模式下工作时必须启动守护进程，而启动守护进程的前提是提供使用的脚本所需要的SSH。Hadoop并不严格区分伪分布模式和全分布模式，它只是在集群内的（多台）主机（由 slaves 文件定义）上启动守护进程：SSH连接到各个主机并启动一个守护进程。
伪分布模式是全分布模式的一个特例。在伪分布模式下，(单)主机就是本地计算机(localhost)，因此需要确保用户能够用SSH连接到本地主机，并且可以不输入密码登录。（使用批量启动脚本，快速启动集群中多个守护进程。）
首先，确保SSH 已经安装，且服务器正在运行。例如，在Ubuntu上可通过以下指令进行测试：

$ sudo apt-get install ssh

在Mac OS X系统中，确保远程登录(在系统“首选项” |“共享”下)对当前用户(或所有用户)可用。
然后基于空口令生成一个新SSH密钥，以实现无密码登录。

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

如果正运行的是 ssh-agent，可能还需要运行 ssh-add。
用以下指令测试是否能够连接：

$ ssh localhost

如果成功，则无需键入密码。

5.6.1 批量启动和关闭服务

在首次使用Hadoop前，必须格式化HDFS文件系统，只需键入指令 bin/hdfs namenode -format 。
为启动HDFS、YARN 和MapReduce守护进程，键入如下指令:

$ start-dfs.sh
$ start-yarn.sh
$ mr-jobhistory-daemon.sh start historyserver

如果配置文件并不位于默认的 conf 目录中，则或者在运行脚本前输出 HADOOP_CONF_DIR 环境变量，或者启动守护进程时使用 --config 选项，该选项带有一条绝对路径指向配置目录：

$ start-dfs.sh --config path-to-config-directory
$ start-yarn.sh --config path-to-config-directory
$ mr-jobhistory-daemon.sh --config path-to-config-directory start historyserver

本地计算机将启动以下守护进程：一个namenode，一个辅助namenode，一个datanode(HDFS)、一个资源管理器、一个节点管理器(YARN)和一个历史服务器(MapReduce)。可以浏览 logs 目录(在Hadoop安装目录下)中的日志文件来检查守护进程是否成功启动，或通过 Web 界面：

此外，Java的jps命令也能查看守护进程是否正在运行。终止守护进程也很容易，示例如下:

$ mr-jobhistory-daemon.sh stop historyserver
$ stop-yarn.sh
$ stop-dfs.sh

创建用户目录，为自己创建一个主目录需键入以下指令：

$ hadoop fs -mkdir -p /user/$USER