image.png
    image.png

    1. 创建目录
      mkdir /usr/hadoop
      cd /usr/hadoop
      tar -zxvf /usr/package277/hadoop-2.7.7.tar.gz -C /usr/hadoop
      pwd
    2. 配制环境变量
      vim /etc/profile
      G

    换行
    #hadoop
    export HADOOP_HOME=/usr/hadoop/hadoop-2.7.7
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    source /etc/profile

    1. 配置运行环境
    2. 设置全局参数
    3. 设置临时存储路径为绝对路径
    4. 设置HDFS参数，备份文本量为2
    5. 指定NN，DN
    6. 关闭权限校验
      cd etc/hadoop/

    ls
    vim hadoop-env.sh
    export JAVA_HOME=/usr/java/jdk1.8.0_221
    vim core-site.xml

    fs.default.name
    hdfs://master:9000


    hadoop.tmp.dir
    /root/hadoopData/tmp


    dfs.replication
    2


    dfs.namenode.name.dir
    /root/hadoopData/name


    dfs.datanode.name.dir
    /root/hadoopData/data


    dfs.permissions
    false


    dfs.datanode.use.datanode.hostname
    true

    1. 设置YARN
      vim yarn-env.sh

    export JAVA_HOME=/usr/java/jdk1.8.0_221

    1. 调试YARN参数

    vim yarn-site.xml

    yarn.resourcemanager.admin.address
    master:18141


    yarn.nodemanager.aux-services
    mapreduce_shuffle


    yarn.nodemanager.auxservice.mapreduce.shuffle.class
    org.apache.hadoop.mapred.ShuffleHandler

    1. 设置计算机框架参数
    2. 设置节点文件
    3. 对文件系统进行格式化
    4. 启动各节点服务
    5. 查看是否正常
      cp mapred-site.xml.template mapred-site.xml

    vim mapred-site.xml

    mapreduce.framework.name
    yarn

    echo slave1 > slaves
    echo slave2 >> slaves
    cat slaves
    echo master > master
    scp -r /usr/hadoop slave1:/usr/
    scp -r /usr/hadoop slave2:/usr/
    hadoop namenode -format
    start-all.sh
    jps