单机版Hadoop安装

JDK、Hadoop都先在hadoop102服务器上安装,安装好之后再scp复制到其他服务器。

安装jdk

安装JDK:

  1. 将 jdk1.8 压缩包上传到我们创建的/opt/software文件夹中。
  2. 将 jdk 解压到我们创建的/opt/module/文件夹中:

    1. tar -zxvf jdk-8u331-linux-x64.tar.gz -C /opt/module/
  3. 配置环境变量,可以直接在/etc/profile.d文件夹中创建一个.sh后缀的文件,/etc/profile会遍历该文件夹下的所有.sh文件的内容作为环境变量。 在/etc/profile.d下创建my_env.sh:

    1. # JAVA_HOME
    2. export JAVA_HOME=/opt/module/jdk1.8.0_331
    3. export PATH=$PATH:$JAVA_HOME/bin
  4. 重新加载环境变量:

    1. source /etc/profile

    安装Hadoop

    安装Hadoop软件:

  5. 从官网(或国内镜像站)下载Hadoop 3.x安装包。例如:hadoop-3.2.3.tar.gz

  6. 将安装包上传到我们创建的/opt/software文件夹中
  7. 解压:

    1. tar -zxvf hadoop-3.2.3.tar.gz -C /opt/module/
  8. 配置环境变量(hadoop需要配置/bin和/sbin两个目录到环境变量)。 同样的,我们在/etc/profile.d/my_env.sh中进行添加:

    1. # HADOOP_HOME
    2. export HADOOP_HOME=/opt/module/hadoop-3.2.3
    3. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  9. 刷新环境变量,查询Hadoop版本进行验证:

    1. # 刷新环境变量
    2. source /etc/profile
    3. # 验证
    4. hadoop version