管道、正则表达式

cut 命令，打印每一行的某一字段

打印 /etc/passwd 文件中以 : 为分隔符的第 1 个字段和第 6 个字段分别表示用户名和其家目录：

cut /etc/passwd -d ':' -f 1,6

打印 /etc/passwd 文件中每一行的前 N 个字符：

# 前五个（包含第五个）
cut /etc/passwd -c -5
# 前五个之后的（包含第五个）
cut /etc/passwd -c 5-
# 第五个
cut /etc/passwd -c 5
# 2 到 5 之间的（包含第五个）
cut /etc/passwd -c 2-5

grep 命令，在文本中或 stdin 中查找匹配字符串

grep 命令是很强大的，也是相当常用的一个命令，它结合正则表达式可以实现很复杂却很高效的匹配和查找，不过在学习正则表达式之前，这里介绍它简单的使用，而关于正则表达式后面将会有单独一小节介绍到时会再继续学习 grep 命令和其他一些命令。
grep 命令的一般形式为：

grep [命令选项]... 用于匹配的表达式 [文件]...

还是先体验一下，我们搜索/home/shiyanlou目录下所有包含”shiyanlou”的文本文件，并显示出现在文本中的行号：

grep -rnI "shiyanlou" ~

-r 参数表示递归搜索子目录中的文件，-n 表示打印匹配项行号，-I 表示忽略二进制文件。这个操作实际没有多大意义，但可以感受到 grep 命令的强大与实用。

wc 命令，简单小巧的计数工具

wc 命令用于统计并输出一个文件中行、单词和字节的数目，比如输出 /etc/passwd 文件的统计信息：

wc /etc/passwd

分别只输出行数、单词数、字节数、字符数和输入文本中最长一行的字节数：

# 行数
wc -l /etc/passwd
# 单词数
wc -w /etc/passwd
# 字节数
wc -c /etc/passwd
# 字符数
wc -m /etc/passwd
# 最长行字节数
wc -L /etc/passwd

注意：对于西文字符来说，一个字符就是一个字节，但对于中文字符一个汉字是大于 2 个字节的，具体数目是由字符编码决定的。

sort 排序命令

这个命令前面我们也是用过多次，功能很简单就是将输入按照一定方式排序，然后再输出，它支持的排序有按字典排序，数字排序，按月份排序，随机排序，反转排序，指定特定字段进行排序等等。
默认为字典排序：

cat /etc/passwd | sort

反转排序：

cat /etc/passwd | sort -r

按特定字段排序：

cat /etc/passwd | sort -t':' -k 3

上面的-t参数用于指定字段的分隔符，这里是以”:”作为分隔符；-k 字段号用于指定对哪一个字段进行排序。这里/etc/passwd文件的第三个字段为数字，默认情况下是以字典序排序的，如果要按照数字排序就要加上-n参数：

cat /etc/passwd | sort -t':' -k 3 -n

注意观察第二个冒号后的数字：

uniq 去重命令

uniq 命令可以用于过滤或者输出重复行。

过滤重复行

我们可以使用 history 命令查看最近执行过的命令（实际为读取 ${SHELL}_history 文件，如我们环境中的 .zsh_history 文件），不过你可能只想查看使用了哪个命令而不需要知道具体干了什么，那么你可能就会要想去掉命令后面的参数然后去掉重复的命令：

history | cut -c 8- | cut -d ' ' -f 1 | uniq

然后经过层层过滤，你会发现确是只输出了执行的命令那一列，不过去重效果好像不明显，仔细看你会发现它确实去重了，只是不那么明显，之所以不明显是因为 uniq 命令只能去连续重复的行，不是全文去重，所以要达到预期效果，我们先排序：

history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq
# 或者
history | cut -c 8- | cut -d ' ' -f 1 | sort -u

这就是 Linux/UNIX 哲学吸引人的地方，大繁至简，一个命令只干一件事却能干到最好。

输出重复行

# 输出重复过的行（重复的只输出一个）及重复次数
history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq -dc
# 输出所有重复的行
history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq -D

文本处理命令还有很多，下一节将继续介绍一些常用的文本处理的命令。

什么是正则表达式呢？

正则表达式，又称正规表示式、正规表示法、正规表达式、规则表达式、常规表示法（英语：Regular Expression，在代码中常简写为 regex、regexp 或 RE），计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器里，正则表达式通常被用来检索、替换那些符合某个模式的文本。 许多程序设计语言都支持利用正则表达式进行字符串操作。例如，在 Perl 中就内建了一个功能强大的正则表达式引擎。正则表达式这个概念最初是由 UNIX 中的工具软件（例如sed和grep）普及开的。正则表达式通常缩写成“regex”，单数有 regexp、regex，复数有 regexps、regexes、regexen。

简单的说形式和功能上正则表达式和我们前面讲的通配符很像，不过它们之间又有很大差别，特别在于一些特殊的匹配字符的含义上，希望初学者注意不要将两者弄混淆。

基本语法

一个正则表达式通常被称为一个模式（pattern），为用来描述或者匹配一系列符合某个句法规则的字符串。

选择

| 竖直分隔符表示选择，例如 boy|girl 可以匹配 boy 或者 girl。

数量限定

数量限定除了我们举例用的 * 还有 + 加号 ? 问号，如果在一个模式中不加数量限定符则表示出现一次且仅出现一次：

• + 表示前面的字符必须出现至少一次(1 次或多次)，例如 goo+gle 可以匹配 gooogle，goooogle 等；
• ? 表示前面的字符最多出现一次（0 次或 1 次），例如，colou?r，可以匹配 color 或者 colour;
• * 星号代表前面的字符可以不出现，也可以出现一次或者多次（0 次、或 1 次、或多次），例如，0*42 可以匹配 42、042、0042、00042 等。

  范围和优先级

  () 圆括号可以用来定义模式字符串的范围和优先级，这可以简单的理解为是否将括号内的模式串作为一个整体。例如，gr(a|e)y 等价于 gray|grey，（这里体现了优先级，竖直分隔符用于选择 a 或者 e 而不是 gra 和 ey），(grand)?father 匹配 father 和 grandfather（这里体现了范围，? 将圆括号内容作为一个整体匹配）。

  语法（部分）

  正则表达式有多种不同的风格，下面列举一些常用的作为 PCRE 子集的适用于 perl 和 python 编程语言及 grep 或 egrep 的正则表达式匹配规则：

  PCRE（Perl Compatible Regular Expressions 中文含义：perl 语言兼容正则表达式）是一个用 C 语言编写的正则表达式函数库，由菲利普.海泽(Philip Hazel)编写。PCRE 是一个轻量级的函数库，比 Boost 之类的正则表达式库小得多。PCRE 十分易用，同时功能也很强大，性能超过了 POSIX 正则表达式库和一些经典的正则表达式库。

(由于 markdown 表格解析的问题，下面的竖直分隔符 **|** 用全角字符代替，实际使用时请换回半角字符。

优先级

优先级为从上到下从左到右，依次降低：

更多正则表达式的内容可以参考以下链接：

• 正则表达式 wiki
• 几种正则表达式引擎的语法差异
• 各语言各平台对正则表达式的支持

regex 的思导图：

grep基本操作

grep 命令用于打印输出文本中匹配的模式串，它使用正则表达式作为模式匹配的条件。grep 支持三种正则表达式引擎，分别用三个参数指定：

不过在你没学过 perl 语言的大多数情况下你将只会使用到 ERE 和 BRE，所以我们接下来的内容都不会讨论到 PCRE 中特有的一些正则表达式语法（它们之间大部分内容是存在交集的，所以你不用担心会遗漏多少重要内容）。
在通过grep命令使用正则表达式之前，先介绍一下它的常用参数：

注：在大多数发行版中是默认设置了 grep 的颜色的，你可以通过参数指定或修改GREP_COLOR环境变量。

使用正则表达式

使用基本正则表达式，BRE

• 位置

查找 /etc/group 文件中以 shiyanlou 为开头的行

grep 'shiyanlou' /etc/group
grep '^shiyanlou' /etc/group

• 数量

  # 将匹配以'z'开头以'o'结尾的所有字符串
  echo 'zero\nzo\nzoo' | grep 'z.*o'
  # 将匹配以'z'开头以'o'结尾，中间包含一个任意字符的字符串
  echo 'zero\nzo\nzoo' | grep 'z.o'
  # 将匹配以'z'开头，以任意多个'o'结尾的字符串
  echo 'zero\nzo\nzoo' | grep 'zo*'

  注意：其中 \n 为换行符
  

• 选择

  # grep默认是区分大小写的，这里将匹配所有的小写字母
  echo '1234\nabcd' | grep '[a-z]'
  # 将匹配所有的数字
  echo '1234\nabcd' | grep '[0-9]'
  # 将匹配所有的数字
  echo '1234\nabcd' | grep '[[:digit:]]'
  # 将匹配所有的小写字母
  echo '1234\nabcd' | grep '[[:lower:]]'
  # 将匹配所有的大写字母
  echo '1234\nabcd' | grep '[[:upper:]]'
  # 将匹配所有的字母和数字，包括0-9，a-z，A-Z
  echo '1234\nabcd' | grep '[[:alnum:]]'
  # 将匹配所有的字母
  echo '1234\nabcd' | grep '[[:alpha:]]'

  
  下面包含完整的特殊符号及说明：

注意：之所以要使用特殊符号，是因为上面的 [a-z] 不是在所有情况下都管用，这还与主机当前的语系有关，即设置在 LANG 环境变量的值，zh_CN.UTF-8 的话 [a-z]，即为所有小写字母，其它语系可能是大小写交替的如，”a A b B…z Z”，[a-z] 中就可能包含大写字母。所以在使用 [a-z] 时请确保当前语系的影响，使用 [:lower:] 则不会有这个问题。

# 排除字符
echo 'geek\ngood' | grep '[^o]'

当 ^ 放到中括号内为排除字符，否则表示行首。

使用扩展正则表达式，ERE

要通过 grep 使用扩展正则表达式需要加上 -E 参数，或使用 egrep。

• 数量

  # 只匹配"zo"
  echo 'zero\nzo\nzoo' | grep -E 'zo{1}'
  # 匹配以"zo"开头的所有单词
  echo 'zero\nzo\nzoo' | grep -E 'zo{1,}'

  推荐掌握 {n,m} 即可 +，?，* 这几个不太直观，且容易弄混淆。

• 选择

  # 匹配"www.shiyanlou.com"和"www.google.com"
  echo 'www.shiyanlou.com\nwww.baidu.com\nwww.google.com' | grep -E 'www\.(shiyanlou|google)\.com'
  # 或者匹配不包含"baidu"的内容
  echo 'www.shiyanlou.com\nwww.baidu.com\nwww.google.com' | grep -Ev 'www\.baidu\.com'

  因为 . 号有特殊含义，所以需要转义。

sed 常用参数介绍

sed 命令基本格式：

sed [参数]... [执行命令] [输入文件]...
# 形如：
$ sed -i 's/sad/happy/' test # 表示将test文件中的"sad"替换为"happy"

sed 执行命令格式：

[n1][,n2]command
[n1][~step]command

其中一些命令可以在后面加上作用范围，形如：

sed -i 's/sad/happy/g' test # g 表示全局范围
sed -i 's/sad/happy/4' test # 4 表示指定行中的第四个匹配字符串

其中 n1,n2 表示输入内容的行号，它们之间为 , 逗号则表示从 n1 到 n2 行，如果为 ~ 波浪号则表示从 n1 开始以 step 为步进的所有行；command 为执行动作，下面为一些常用动作指令：