一.HDFS的Shell操作操作

1. 基础语法

HDFS Shell命令是由一系列类似Linux Shell的命令组成的。命令大致可分为操作命令、管理命令、其他命令三类。

• 操作命令：操作命令是以”hdfs dfs”开头的命令。通过这些命令可以完成HDFS文件的复制、删除和查找等操作。Shell命令的一般格式如下：

hdfs dfs [通用选项]
或
hadoop fs  [通用选项]

其中hdfs是Hadoop系统在Linux系统中的主命令；dfs是子命令，表示执行文件操作；通用选项由HDFS文件操作命令和操作参数组成。hadoop fs 具体命令 或者 hdfs dfs 具体命令两种写法完全相同。

• 管理命令：管理命令是以”hdfs dfsadmin”开头的命令。通过这些命令，用户可以管理HDFS。管理命令的一般格式如下：

hdfs dfsadmin [通用选项]

• 其他命令：把操纵命令”hdfs dfs”、管理命令”hdfs dfsadmin”之外的命令称为其他命令。

2.文件操作命令

:::info 命令 功能

-help [cmd] 显示命令的帮助信息

-ls® 显示当前目录下所有文件

-du(s) 显示目录中所有文件的大小

-count[-q] 显示目录中文件数量

-mv 移动多个文件到目标目录

-cp 复制多个文件到目标目录

-rm® 删除文件（夹）

-put 本地文件复制到hdfs

-copyFromLocal 与put相同

-moveFromLocal 从本地文件移动到hdfs

-get [-ignoreCrc] 复制文件到本地，可以忽略crc校验

-getmerge 将源目录中的所有文件排序合并到一个文件中

-cat 在终端显示文件内容

-text 在终端显示文件内容

-copyToLocal [-ignoreCrc] 复制到本地

-moveToLocal 移动到本地

-mkdir 创建文件夹

-touchz 创建一个空文件

:::

[li@hadoop102 bin]$ hadoop fs

:::

:::info

:::

hadoop fs -touch pathname
hadoop fs -touch -m -t 20180809:230000 pathname
hadoop fs -touch -t 20180809:230000 pathname
hadoop fs -touch -a pathname

:::info

:::

[@hadoop102 hadoop-3.1.3]$ hadoop fs -help rm

:::info

:::

[li@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /school

:::info

:::

hdfs dfs -moveFromLocal /home/sclang/test.txt /input

:::info -copyFromLocal

功能：复制本地文件到hdfs指定目录上。

格式：hdfs dfs -copyFromLocal [-f] [-p] [-l] [ -d] [-t ]

例：将本地文件/home/sclang/test.txt文件复制HDFS的/hadoop文件中。

:::

hdfs dfs -copyFromLocal /home/sclang /hadoop

:::info -copyToLocal

功能：复制hdfs文件到本地主机指定目录上。

格式：-copyToLocal [-f] [-p] [-ignoreCrc] [-crc]

例：将hdfs文件/hadoop/test.txt文件复制到本地/home/sclang文件中。

:::

hdfs dfs -copyToLocal /hadoop/test.txt /home/sclang

:::info

:::

hdfs dfs -put /home/sclang/file.txt /hadoop

:::info

:::

:::info

:::

hdfs dfs -get /hadoop/test.txt /home/sclang

:::info

:::

hdfs dfs -ls /input
lsr是ls命令的递归版本，会递归列出子目录中的文件及目录信息

:::info

:::

hdfs dfs -cat /hadoop/test.txt

:::info

:::

hdfs dfs -chgrp -R sclang /hadoop

:::info -chmod

功能：更改指定文件的权限。改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户。

格式：hdfs dfs -chmod [-R]

例：让所有人对/input/word.txt文件有执行权限

:::

hdfs dfs -chmod +x /input/word.txt

:::info

:::

hdfs dfs -chown root:root /hadoop/test.txt

:::info -cp

功能：复制文件到指定目录上。将文件从源路径复制到目标路径。这个命令允许有多个源路径，此时目标路径必须是一个目录。（从HDFS的一个路径拷贝到HDFS的另一个路径）

格式：hdfs dfs -cp [-f] [-p | -p[topax]] [-d]

例：将本地文件/home/sclang/test.txt文件复制HDFS的/hadoop文件中。

:::

hdfs dfs -cp /home/sclang /hadoop

:::info

:::

hdfs dfs -mv /input/test.txt /tmp

:::info

:::

hdfs dfs -tail /hadoop/test.txt

:::info

:::

hdfs dfs -rm -r -f /hadoop/test.txt

:::info

:::

hdfs dfs -du /hadoop/test.txt

:::info

:::

$ hadoop fs -setrep 10 /jinguo/shuguo.txt