HDFS的shell操作

一、基本语法

hadoop fs {命令} 或 hdfs dfs {命令}

二、命令大全

可以使用下面命令查看所有命令

  1. hadoop fs
  3. # 返回帮助信息
  4. Usage: hadoop fs [generic options]
  5.         [-appendToFile <localsrc> ... <dst>]
  6.         [-cat [-ignoreCrc] <src> ...]
  7.         [-checksum <src> ...]
  8.         [-chgrp [-R] GROUP PATH...]
  9.         [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
  10.         [-chown [-R] [OWNER][:[GROUP]] PATH...]
  11.         [-copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>]
  12.         [-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
  13.         [-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] [-e] <path> ...]
  14.         [-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]
  15.         [-createSnapshot <snapshotDir> [<snapshotName>]]
  16.         [-deleteSnapshot <snapshotDir> <snapshotName>]
  17.         [-df [-h] [<path> ...]]
  18.         [-du [-s] [-h] [-v] [-x] <path> ...]
  19.         [-expunge [-immediate]]
  20.         [-find <path> ... <expression> ...]
  21.         [-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
  22.         [-getfacl [-R] <path>]
  23.         [-getfattr [-R] {-n name | -d} [-e en] <path>]
  24.         [-getmerge [-nl] [-skip-empty-file] <src> <localdst>]
  25.         [-head <file>]
  26.         [-help [cmd ...]]
  27.         [-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [-e] [<path> ...]]
  28.         [-mkdir [-p] <path> ...]
  29.         [-moveFromLocal [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
  30.         [-moveToLocal <src> <localdst>]
  31.         [-mv <src> ... <dst>]
  32.         [-put [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst>]
  33.         [-renameSnapshot <snapshotDir> <oldName> <newName>]
  34.         [-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]
  35.         [-rmdir [--ignore-fail-on-non-empty] <dir> ...]
  36.         [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
  37.         [-setfattr {-n name [-v value] | -x name} <path>]
  38.         [-setrep [-R] [-w] <rep> <path> ...]
  39.         [-stat [format] <path> ...]
  40.         [-tail [-f] [-s <sleep interval>] <file>]
  41.         [-test -[defswrz] <path>]
  42.         [-text [-ignoreCrc] <src> ...]
  43.         [-touch [-a] [-m] [-t TIMESTAMP ] [-c] <path> ...]
  44.         [-touchz <path> ...]
  45.         [-truncate [-w] <length> <path> ...]
  46.         [-usage [cmd ...]]

三、上传命令

-moveFromLocal

从本地剪切文件到 HDFS

# 将本地的a.text文件剪切粘贴到hdfs的/demo目录下，完成后本地的a.txt将不存在
hadoop fs -moveFromLocal a.txt /demo

-copyFromLocal（推荐使用-put代替）

从本地拷贝文件到 HDFS

# 将本地的b.txt文件拷贝到hdfs的/demo目录下
hadoop fs -copyFromLocal b.txt /demo

-put

从本地拷贝文件到 HDFS ，等同于copyFromLocal

# 将本地的b.txt文件拷贝到hdfs的/demo目录下
hadoop fs -put b.txt /demo

-appendToFile

追加一个文件的内容到已经存在的文件末尾

# 将本地的b.txt的文件内容追加到hdfs的/demo/a.txt文件的末尾
hadoop fs -appendToFile b.txt /demo/a.txt

四、下载命令

-copyToLocal（推荐使用-get代替）

从 HDFS 拷贝到本地

# 将hdfs中的b.txt文件拷贝到本地，文件名不变
hadoop fs -copyToLocal /demo/b.txt
# 将hdfs中的b.txt文件拷贝的本地并保存为c.txt
hadoop fs -copyToLocal b.txt c.txt

-get

从 HDFS 拷贝到本地，等同于copyToLocal

# 将hdfs中的b.txt文件拷贝到本地，文件名不变
hadoop fs -get /demo/b.txt
# 将hdfs中的b.txt文件拷贝的本地并保存为c.txt
hadoop fs -get b.txt c.txt

五、HDFS操作

-ls

显示目录信息

hadoop fs -ls /demo

-cat

显示文件内容

hadoop fs -cat /demo/a.txt

-chgrp、-chmod、-chown

Linux 文件系统中的用法一样，修改文件所属权限

hadoop fs -chmod 666 /demo/a.txt
hadoop fs -chown hadoop:hadoop /demo/a.txt

-mkdir

创建目录

hadoop fs -mkdir /demo/text1

-cp

拷贝文件

hadoop fs -cp /demo/a.txt /demo/text1

-mv

移动文件

hadoop fs -mv /demo/a.txt /demo/text1

-tail

显示一个文件的末尾 1kb 的数据

hadoop fs -tail /demo/a.txt

-rm

删除文件或文件夹

# 删除单个文件
hadoop fs -rm /demo/a.txt
# 删除目录
hadoop fs -rm -r /demo

-du

统计文件夹的大小信息

# 统计/demo整个文件夹的大小
hadoop fs -du -s -h /demo
# 统计/demo文件夹下所有文件的大小
hadoop fs -du -h /demo

-setrep

设置HDFS中文件的副本数量

# 将hdfs中/demo/a.txt的副本数设置为10
hadoop fs -setrep 10 /demo/a.txt

这里设置的副本数是修改NameNode中的元数据，是否真的可以设置这么多副本，还得看DataNode的数量，目前只有3台设备，因此副本数实际最多就是3个，只有节点数增加到10时，副本数才能达到10