群起命令

    1. 关闭HDFS：stop-dfs.sh
    2. 关闭YARN：stop-yarn.sh
    3. 启动HDFS：start-dfs.sh
    4. 启动YARN：start-yarn.sh
    5. 启动历史服务器：mr-jobhistory-daemon.sh start historyserver
    • 关闭防火墙

    service iptables stop chkconfig iptables off

    • 删除HDFS上已经存在的输出文件

    hdfs dfs -rm -R /wordcount/output

    • 执行WordCount程序

    hadoop jar hadoop-mapreduce-examples-2.7.7.jar wordcount /wordcount/input /wordcount/output

    • 脚本一键查看jps
    1. 创建/root/bin
    2. vim jpsall
    1. #!/bin/bash
    2. for i in hadoop01 hadoop02 hadoop03
    3. do
    4. echo ===================== $i ======================
    5. ssh $i "source /etc/profile && jps | grep -v Jps"
    6. done

    3.chmod 777 jpsall

    常用命令
    1、查看帮助命令
    hdfs dfs -help
    2、-ls: 显示目录信息
    hdfs dfs -ls [-d][-h][-R]
    -d：将目录显示为普通文件。
    -h：使用便于操作人员读取的单位信息格式。
    -R：递归显示所有子目录的信息。
    3、-mkdir：在HDFS上创建目录
    mkdir命令用于在指定路径下创建子目、，其中创建的路径可以采用URI格式进行指定，与Linux命令mkdir相同，可以创建多级目录

    • -mkdir [-p] 其中-p参数表示创建子目录使先检查路径是否存在，如果不存在，则创建相应的各级目录。

    hdfs dfs -mkdir -p /wordcount/input

    • -moveFromLocal：从本地剪切粘贴到HDFS
    • -appendToFile：追加一个文件到已经存在的文件末尾

    touch kongming.txt
    hdfs dfs -moveFromLocal ./kongming.txt /sanguo/shuguo
    vi liubei.txt
    输入
    san gu mao lu
    hdfs dfs -appendToFile liubei.txt /sanguo/shuguo/kongming.txt

    • -cat：显示文件内容

    hdfs dfs -cat /sanguo/shuguo/kongming.txt

    • -chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限

    hdfs dfs -chmod 666 /sanguo/shuguo/kongming.txt

    • -copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去

    hdfs dfs -copyFromLocal ./kongming.txt /

    • -copyToLocal：从HDFS拷贝到本地

    hdfs dfs -copyToLocal /sanguo/shuguo/kongming.txt ~/

    • -cp ：从HDFS的一个路径拷贝到HDFS的另一个路径

    hdfs dfs -cp /sanguo/shuguo/kongming.txt /zhuge.txt

    • -mv：在HDFS目录中移动文件

    hdfs dfs -mv /zhuge.txt /sanguo/shuguo/

    • -get：等同于copyToLocal，就是从HDFS下载文件到本地

    hdfs dfs -get /sanguo/shuguo/kongming.txt ./

    • -put：等同于copyFromLocal put命令用于将本地系统的文件或文件夹复制到HDFS系统上去

    hdfs dfs -put [-f][-p]
    hdfs dfs -put -f install.1og /

    • -tail：显示一个文件的末尾

    hdfs dfs -tail /sanguo/shuguo/kongming.txt

    • -rm：删除文件或文件夹

    hdfs dfs -rm /sanguo/shuguo/kongming.txt

    • -rmdir：删除空目录

    hdfs dfs -mkdir /test
    hdfs dfs -rmdir /test

    • -du统计文件夹的大小信息

    hdfs dfs -du -s -h /
    276.0 K /

    • -setrep：设置HDFS中文件的副本数量

    hdfs dfs -setrep 10 /sanguo/shuguo/kongming.txt