Linux-文本处理命令

Linux find grep xargs sort uniq tr cut paste wc sed awk
使用Shell处理文本时最常用的工具：
find、grep、xargs、sort、uniq、tr、cut、paste、wc、sed、awk；

1、find-文件查找

查找txt和pdf文件

find . ( -name "*.txt"-o -name "*.pdf") -print

正则方式查找.txt和pdf

find . -regex  ".*(.txt|.pdf)$"

-iregex：忽略大小写的正则3 否定参数查找所有非txt文本

find . ! -name "*.txt"-print

指定搜索深度打印出当前目录的文件（深度为1）

find . -maxdepth 1-type f

定制搜索按类型搜索

find . -type d -print  //只列出所有目录
-type f 文件 / l 符号链接

按时间搜索

-atime 访问时间 (单位是天，分钟单位则是-amin，以下类似）
-mtime 修改时间 （内容被修改）
-ctime 变化时间 （元数据或权限变化）

最近7天被访问过的所有文件

find . -atime 7-type f -print

按大小搜索：w字 k M G寻找大于2k的文件

find . -type f -size +2k

按权限查找

find . -type f -perm 644-print //找具有可执行权限的所有文件

按用户查找

find . -type f -user weber -print// 找用户weber所拥有的文件

找到后的后续动作删除：删除当前目录下所有的swp文件

find . -type f -name "*.swp"-delete

执行动作（强大的exec）

find . -type f -user root -exec chown weber {} ; //将当前目录下的所有权变更为weber

注：{}是一个特殊的字符串，对于每一个匹配的文件，{}会被替换成相应的文件名；eg：将找到的文件全都copy到另一个目录

find . -type f -mtime +10-name "*.txt"-exec cp {} OLD ;

结合多个命令tips: 如果需要后续执行多个命令，可以将多个命令写成一个脚本。然后 -exec 调用时执行脚本即可；

-exec ./commands.sh {} ;

-print的定界符默认使用’ ‘作为文件的定界符；
-print0 使用’’作为文件的定界符，这样就可以搜索包含空格的文件；

2、grep-文本搜索

语法：grep [option]… PATTERN [FILE]

grep match_patten file // 默认访问匹配行

常用参数:
-o 只输出匹配的文本行 VS -v 只输出没有匹配的文本行
-c 统计文件中包含文本的次数，符合条件的行数

grep -c "text" filename

-n 打印匹配的行号
-i 搜索时忽略大小写
-l 只打印文件名
-v 取反
^ 以开头
$ 以结尾
^$ 空行

在多级目录中对文本递归搜索

grep "class". -R -n

匹配多个模式

grep -e "class" -e "vitural" file

grep输出以作为结尾符的文件名：（-z）

grep "test" file* -lZ| xargs -0 rm

多模式 Grep 命令

grep 命令支持三种正则表达式语法：Basic、Extended 和 Perl-compatible 。当没有指定正则表达式类型时，grep 命令将搜索模式默认为基本正则表达式。
要搜索多个匹配模式，可以使用 OR ( alternation ) 运算符。可以用 OR 运算符 |（ pipe ）指定不同的匹配项，这些匹配项可以是文本字符串，也可以是表达式集。值得注意的是，在所有正则表达式运算符中，这个运算符的优先级是最低的。
使用 grep 命令基本正则表达式搜索多个匹配模式的语法如下：

$ grep 'pattern1\|pattern2' filename

这里需要注意的是，始终要用单引号将正则表达式括起来，因为单引号内的内容原样输出，被单引号括起的内容不管是常量还是变量不会发生替换。
使用基本正则表达式时，元字符被解释为字面字符。要保留元字符的特殊含义，必须用反斜杠（ \ ）对它们进行转义。这就是为什么我们要转义 OR 运算符（|）。
要将模式解释为扩展正则表达式，请调用 grep -E（或 --extended-regexp ）选项。使用扩展正则表达式时，不需要对 OR 运算符 (|) 进行转义：

$ grep -E 'pattern1|pattern2' file

Grep命令搜索多个字符串

通常认为，文字字符串是最基本的模式。
示例，搜索某用户日志错误文件中出现的所有 fatal、error 和 critical 字符串。语法如下：

$ grep 'fatal\|error\|critical' /var/log/nginx/error.log

还需要注意的是，如果要搜索的字符串包含空格，需要用双引号将其括起来。
下面是使用扩展正则表达式的同一个示例，它不需要转义字符:

$ grep -E 'fatal|error|critical' /var/log/nginx/error.log

默认情况下，grep 命令是区分大小写的。要在搜索时忽略大小写，请调用 grep 加 -i （或 --ignore-case ）选项，示例如下：

$ grep -i 'fatal|error|critical' /var/log/nginx/error.log

当只想搜索某个单词时，比如想搜索的是单词 error ，grep 命令会输出所有包含 error 字符串的行，即它除了会输出包含 error 单词的行，还会输出包含 errorless 或 antiterrorists 等非 error 单词的行，这样是极不方便的。
因此要仅返回指定字符串是整词的行，或者是由非单词字符括起来的行，可以使用 grep 加 -w （或 --word-regexp ）选项：

$ grep -w 'fatal|error|critical' /var/log/nginx/error.log

值得注意的是，单词字符包括有字母、数字字符（比如 a-z、a-Z 和 0-9 ）以及下划线（ _ ），所有其他字符都被视为非单词字符。

4、xargs–过滤器、命令行参数转换

xargs命令是给其他命令传递参数的一个过滤器，也是组合多个命令的一个工具。全称是“extended arguments”，它擅长将标准输入数据转换成命令行参数，xargs能够处理管道或者 stdin 并将其转换成特定命令的命令参数。
xargs也可以将单行或多行文本输入转换为其他格式，例如多行变单行，单行变多行。xargs的默认命令是 echo，空格是默认定界符。这意味着通过管道传递给 xargs的输入将会包含换行和空白，不过通过 xargs 的处理，换行和空白将被空格取代。xargs是构建单行命令的重要组件之一。
语法格式：xargs [参数]
常用参数：

xargs 能够将输入数据转化为特定命令的命令行参数；这样，可以配合很多命令来组合使用。比如grep，比如find；将多行输出转化为单行输出

cat file.txt| xargs

是多行文本间的定界符将单行转化为多行输出

cat single.txt | xargs -n 3

-n：指定每行显示的字段数xargs参数说明
-d 定义定界符 （默认为空格 多行的定界符为 ）
-n 指定输出为多行
-I {} 指定替换字符串，这个字符串在xargs扩展时会被替换掉,用于待执行的命令需要多个参数时
eg：

cat file.txt | xargs -I {} ./command.sh -p {} -1

-0：指定为输入定界符
eg：统计程序行数

find source_dir/ -type f -name "*.cpp"-print0 |xargs -0 wc -l

其他示例

grep forest f.txt     #文件查找
grep forest f.txt cpf.txt #多文件查找
grep 'log' /home/admin -r -n #目录下查找所有符合关键字的文件
cat f.txt | grep -i shopbase    
grep 'shopbase' /home/admin -r -n --include *.{vm,java} #指定文件后缀
grep 'shopbase' /home/admin -r -n --exclude *.{vm,java} #反匹配
seq 10 | grep 5 -A 3    #上匹配
seq 10 | grep 5 -B 3    #下匹配
seq 10 | grep 5 -C 3    #上下匹配，平时用这个就妥了
cat f.txt | grep -c 'SHOPBASE'

5、sort-排序

字段说明：
-n 按数字进行排序 VS -d 按字典序进行排序
-r 逆序排序
-k N 指定按第N列排序
eg：

sort -nrk 1 data.txt
sort -bd data // 忽略像空格之类的前导空白字符

6、uniq-消除重复行

uniq命令全称是“unique”，中文释义是“独特的，唯一的”。该命令的作用是用来去除文本文件中连续的重复行，中间不能夹杂其他文本行。去除了重复的，保留的都是唯一的，也就是独特的，唯一的了。
应当注意的是，它和sort的区别，sort只要有重复行，它就去除，而uniq重复行必须要连续，也可以用它忽略文件中的重复行。
语法格式：uniq [参数] [文件]
常用参数：

消除重复行

sort unsort.txt | uniq

统计各行在文件中出现的次数

sort unsort.txt | uniq -c

找出重复行

sort unsort.txt | uniq -d

可指定每行中需要比较的重复内容：-s 开始位置 -w 比较字符数

7、tr-字符转换

tr的英文全称是“ transform ”，即转换的意思。该命令的作用是一种可将字符进行替换、压缩、删除，他可以将一组字符转换成另一组字符。tr他只能从标准输入中读取数据，因此，tr要么将输入文件重定向到标准输入，要么从管道读入数据。
注意：tr类似于sed命令，但是比sed简单，所以tr能实现的功能，sed都能实现。
语法格式：tr [参数] [字符串1] [字符串2]
常用参数：

通用用法

echo 12345| tr '0-9''9876543210'//加解密转换，替换对应字符
cat text| tr '    '' '//制表符转空格

tr删除字符

cat file | tr -d '0-9'// 删除所有数字

-c 求补集

cat file | tr -c '0-9'//获取文件中所有数字
cat file | tr -d -c '0-9 '//删除非数字数据

tr压缩字符tr -s 压缩文本中出现的重复字符；最常用于压缩多余的空格

cat file | tr -s ' '

字符类tr中可用各种字符类

alnum：字母和数字
alpha：字母
digit：数字
space：空白字符
lower：小写
upper：大写
cntrl：控制（非可打印）字符
print：可打印字符
使用方法：

tr [:class:] [:class:]

eg:

tr '[:lower:]''[:upper:]'

8、cut-按列切分文本

cut 命令在Linux和Unix中的作用是从文件中的每一行中截取出一些部分，并输出到标准输出中。可以使用 cut 命令从一行字符串中于以字节，字符，字段（分隔符）等单位截取一部分内容出来。

cut 命令和语法

cut 命令的基本语法如下：

$ cut OPTION... [FILE]...

cut 命令参数
-f : 提取指定的字段，cut 命令使用 Tab 作为默认的分隔符。
-d : Tab 是默认的分隔符，使用这一选项可以指定自己的分隔符。
-b : 提取指定的字节，也可以指定一个范围。
-c : 提取指定的字符，可以是以逗号分隔的数字的列表，也可以是以连字符分隔的数字的范围。
–complement : 补充选中的部分，即反选。
–output-delimiter : 修改输出时使用的分隔符。
--only-delimited : 不输出不包含分隔符的列。

截取文件的第2列和第4列

cut -f2,4 filename

去文件除第3列的所有列

cut -f3 --complement filename

-d 指定定界符：

cat -f2 -d";" filename

cut 取的范围
N- 第N个字段到结尾
-M 第1个字段为M
N-M N到M个字段
cut 取的单位
-b 以字节为单位
-c 以字符为单位
-f 以字段为单位（使用定界符）
eg:

cut -c1-5 file //打印第一到5个字符
cut -c-2 file  //打印前2个字符

以如下的名为 context.txt 的文本文件和 /etc/passwd 文件来为例来进行说明。

$ cat content.txt 
Ubuntu Linux
Microsoft Windows
OsX El Capitan
Unix
FreeBSD

指定分隔符

最常用的选项是 -d 和 -f 的组合，这会根据 -d 指定的分隔符和 -f 列出的字段来提取内容。
例如在这个例子中只打印出 /etc/passwd 文件每一行的第一个字段，用的分隔符是 :

$ cut -d':' -f1 /etc/passwd
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games
alvin
liangxu
...

在下面这个例子中用空格作为分隔符打印 content.txt 文件的第一个字段

$ cut -d " " -f 1 content.txt 
Ubuntu
Microsoft
OsX
Unix
FreeBSD

在下面这个例子中提取了多个字段。这里使用冒号（:）分隔符从文件 /etc/passwd 中包含字符串 /bin/bash 的行提取第一和第六个字段。

$ grep "/bin/bash" /etc/passwd | cut -d':' -f1,6
root:/root
alvin:/home/alvin

要显示字段的某个范围，可以指定开始和结束的字段，中间用连字符（-）连接，如下所示：

$ grep "/bin/bash" /etc/passwd | cut -d':' -f1-4,6,7
root:x:0:0:/root:/bin/bash
alvin:x:1000:1000:/home/alvin:/bin/bash

补全选择的输出

要补全选择输出的字段（即反选），使用 --complement 选项。这一选项输出所有的字段，除了指定的字段。
在下面这个例子中输出 /etc/passwd 文件中包含 /bin/bash 的行中除了第二个字段以外的所有字段：

$ grep "/bin/bash" /etc/passwd | cut -d':' --complement -f2
root:0:0:root:/root:/bin/bash

指定输出的分隔符

使用 --output-delimiter 可以指定输出的分隔符。输入的分隔符由 -d 来指定，而输出分隔符和输入分隔符默认是一样的。
以下面的例子来测试不指定输出分隔符时的输出；

$  cut -d: -f1,7  /etc/passwd |  sort |  uniq -u
_apt:/usr/sbin/nologin
backup:/usr/sbin/nologin
bin:/usr/sbin/nologin
daemon:/usr/sbin/nologin
dnsmasq:/usr/sbin/nologin
games:/usr/sbin/nologin
gnats:/usr/sbin/nologin
irc:/usr/sbin/nologin
landscape:/usr/sbin/nologin
list:/usr/sbin/nologin
lp:/usr/sbin/nologin
lxd:/bin/false

现在加上--output-delimiter选项，将输出分隔符指定为空格：

$  cut -d: -f1,7 --output-delimiter ' ' /etc/passwd |  sort |  uniq -u
_apt /usr/sbin/nologin
backup /usr/sbin/nologin
bin /usr/sbin/nologin
daemon /usr/sbin/nologin
dnsmasq /usr/sbin/nologin
games /usr/sbin/nologin
gnats /usr/sbin/nologin
irc /usr/sbin/nologin
landscape /usr/sbin/nologin
list /usr/sbin/nologin
lp /usr/sbin/nologin
lxd /bin/false

用分隔符让每一行打印一个字段。
将 --output-delimiter 指定为 $'\n' 表换行。
输出结果为：

$ grep root /etc/passwd | cut -d':' -f1,6,7 --output-delimiter=$'\n'
root
/root
/bin/bash
operator
/root
/sbin/nologin

以字符的方式提取内容

-c选项可以用来根据字符位置进行提取，注意空格和Tab也以字符来处理。
打印 context.txt 文件每一行的第一个字符，如下：

$ cut -c 1 content.txt
U
M
O
U
F

下面显示了 context.txt 文件每一行的第一至七个字符；

$ cut -c 1-7 content.txt
Ubuntu
Microso
OsX El
Unix
FreeBSD

下面提取第二个到最后一个字符：

$ cut -c2- content.txt
buntu Linux
icrosoft Windows
sX El Capitannix
reeBSD

提取第一到第四个字符：

cut -c-4 content.txt
Ubun
Micr
OsX
Unix
Free

根据字节提取

使用-b选项通过指定字节的位置来选择一行的某一部分，使用逗号分隔每个指定位置，或用连字符 - 指定一个范围。
下面这个例子提取 content.txt 文件每一行的第一，二，三个字节：

$ cut -b 1,2,3 content.txt 
Ubu
Mic
OsX
Uni
Fre

用如下命令列出一个范围；

$ cut -b 1-3,5-7 content.txt 
Ubutu 
Micoso
OsXEl 
Uni
FreBSD

实用案例

cut 是一个实用的命令，常常和其他Linux或Unix命令结合使用 。
例如如果想提取 ps 命令中的 USER，PID和COMMAND：

ps -L u n | tr -s " " | cut -d " " -f 2,3,14-
USER PID COMMAND0 
676 /sbin/agetty -o -p -- \u --keep-baud 115200,38400,9600 ttyS0 vt220
0 681 /sbin/agetty -o -p -- \u --noclear tty1 linux
0 23174 -bash
0 26737 ps -L u n
0 26738 tr -s
0 26739 cut -d -f 2,3,14-

提取内存的 total，used和free值，并保存到一个文件中。

$ free -m | tr -s ' ' | sed '/^Mem/!d' | cut -d" " -f2-4 >> memory.txt
$ cat memory.txt
985 86 234

cut 命令可以和很多其他Linux或Unix命令通过管道连接。可以通过管道传递一个或多个过滤器进行额外的文本处理。
cut 命令的局限性之一是它不支持指定多个字符作为分隔符。多个空格会被计算为多个字段分隔符，因此必须在 cut 命令前使用 tr 命令才能获得需要的输出。

9、paste-按列拼接文本

将两个文本按列拼接到一起

> cat file1
1
2
> cat file2
colin
book
> paste file1 file2
1 colin
2 book

默认的定界符是制表符，可以用-d指明定界符

paste file1 file2 -d ","
1,colin
2,book

10、wc-统计行和字符的工具

wc命令全称为“Word Count”，是统计指定文件中的字节数、字数、行数，并将统计结果显示输出。利用wc指令可以计算文件的Byte数、字数或是列数，若不指定文件名称，或是所给予的文件名为“-”，则wc指令会从标准输入设备读取数据。wc同时也给出所指定文件的总统计数。
语法格式：wc [参数] [文件]
常用参数：

wc -l file // 统计行数
wc -w file // 统计单词数
wc -c file // 统计字符数

11、sed-文本替换利器

Linux sed 命令是利用脚本来处理文本文件。其全称是“Stream Editor”，sed 可依照脚本的指令来处理、编辑文本文件。sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。
语法格式：sed [选项]… {命令集} [输入文件]
常用参数：
d 删除选择的行
s 查找
y 替换
i 当前行前面插入一行
a 当前行后面插入一行
p 打印行
q 退出
替换符:
数字 ：替换第几处
g : 全局替换
\1: 子串匹配标记，前面搜索可以用元字符集(..)
&: 保留搜索刀的字符用来替换其他字符