附录 A bash 命令快速指南

本章内容

• bash内建命令
• GNU的其他shell命令
• bash环境变量

如本书所述，bash shell包含很多特性，故可用的命令自然也少不到哪里去。本附录提供了一个简明指南，你可以从中快速查找能在bash命令行或bash shell脚本中使用的功能或命令。

A.1 内建命令

bash shell含有许多常用的命令，这些命令都已经内建在了shell中。在使用这些命令时，执行速度就要快很多。表A-1列出了bash shell中直接可用的内建命令。
表A-1 bash内建命令

相比外部命令，内建命令提供了更高的性能，但shell中包含的内建命令越多，消耗的内存就会越大，而有些命令几乎永远也不会用到。除此之外，bash shell还包含了一些能够为shell提供扩展功能的外部命令。这些都会在A.2节中讨论。

A.2 常见的 bash 命令

除了内建命令外，bash shell还使用外部命令来让你操控文件系统以及处理文件和目录。表A-2列出了在使用bash shell时会用到的常见外部命令。
表A-2 bash shell外部命令

可以用这些命令在命令行上完成几乎所有的事情。

A.3 环境变量

bash shell还使用了许多环境变量。虽然环境变量不是命令，但它们通常会影响shell命令的执行，所以了解这些shell环境变量很重要。表A-3列出了bash shell中可用的默认环境变量。
表A-3 bash shell环境变量

可以用set内建命令来显示这些环境变量。对于不同的Linux发行版，开机时设置的默认shell 环境变量经常会不一样。

附录 B sed 和 gawk 快速指南

本章内容

• sed编辑器基础
• gawk必知必会

如果要在shell脚本中进行数据处理，很可能需要使用sed或gawk程序（有时两者都要用）。本附录提供了一份sed和gawk的快速参考。在shell脚本中处理数据时，这应该能派上用场。

B.1 sed 编辑器

sed编辑器可以基于命令来操作数据流中的数据，这些命令要么从命令行中输入，要么保存在命令文本文件中。它每次从输入中读取一行数据，并用提供的编辑器命令匹配该数据，按命令中指定的操作修改数据，然后将生成的新数据输出到STDOUT。

B.1.1 启动 sed 编辑器

sed命令的格式如下：

sed options script file

options参数允许你定制sed命令的行为，可包含表B-1中所列的选项。
表B-1 sed命令选项

script参数指定了作用在数据流上的单条命令。如果需要不止一条命令，要么用-e选项在 命令行上指定它们，要么用-f选项在一个单独文件中指定它们。

B.1.2 sed 命令

sed编辑器脚本含有sed针对输入流中的每行数据执行的命令。本节将会介绍一些较常见的sed命令。

1. 替换

s命令会替换输入流中的文本。s命令的格式如下。

s/pattern/replacement/flags

其中pattern是要被替换的文本，replacement是sed要插到数据流中的新文本。
flags参数控制如何进行替换。有4种类型的替换标记可用。

• 一个数字，表明该模式出现的第几处应该被替换。
• g：表明所有该文本出现的地方都应该被替换。
• p：表明原来行中的内容应该被打印出来。
• w file：表明替换的结果应该写入到文件file中。

在第一类替换中，你可以指定sed编辑器应该替换第几处匹配模式的地方。举个例子，你可以用数字2来只替换该模式第二次出现的地方。

1. 寻址

默认情况下，你在sed编辑器中使用的命令会作用在文本数据的所有行上。如果你想让命令只作用在指定行或一组行上，就必须使用行寻址（line addressing）。
在sed编辑器中，有两种形式的行寻址：

• 行区间（数字形式）
• 可以过滤出特定行的文本模式

两种形式使用相同的格式来指定地址。

[address]command

当使用数字形式的行寻址时，我们通过行在文本流中的位置来引用行。sed编辑器会给数据流中的第一行分配行号1，然后对接下来的每行依次顺序增加。

$ sed '2,3s/dog/cat/' data1

另一个限制命令作用在哪些行上的方法有点复杂。sed编辑器允许你指定一个文本模式，它会用这个文本模式来为命令过滤出行，格式如下。

/pattern/command

必须用斜线来将你指定的pattern包围起来。sed编辑器会将command只作用在包含你指定 的文本模式的行上。

$  sed  '/rich/s/bash/csh/'  /etc/passwd

这个过滤器能够找到含有文本rich的行，然后用csh来替换文本bash。也可以为某个特定地址将多条命令放在一起。

address {
  command1
  command2 
  command3 }

sed编辑器会将你指定的每条命令作用在匹配指定地址的行上。sed编辑器会处理和地址行对应的每条命令。

$ sed '2{
> s/fox/elephant/
> s/dog/cat/
> }' data1

sed编辑器将每一条替换命令都作用在数据文件的第二行上。

1. 删除行

删除（delete）命令d与它的名字十分相配。它会删除所有与提供的地址模式匹配的文本行。使用删除命令时要小心，因为如果你忘记加地址模式，所有的行都会被从数据流中删掉。

$ sed 'd' data1

显然，删除命令跟指定的地址一起使用时才最有用。它允许你从数据流中删除特定的文本行， 要么通过行号指定：

$ sed '3d' data6

要么通过特定的行区间指定：

$ sed '2,3d' data6

sed编辑器的模式匹配功能也适用于删除命令。

$ sed '/number 1/d' data6

只有匹配指定文本的行才会被从流中删掉。

1. 插入和附加文本

如你所料，跟任何其他编辑器一样，sed编辑器允许你向数据流中插入和附加文本。这两个命令的区别有些模糊：

• 插入（insert）命令（i）在指定行前面添加一个新行；
• 附加（append）命令（a）在指定行后面添加一个新行。

这两条命令的格式很容易让人困惑：你不能在单个命令行上使用这两条命令。要插入或附加的行必须作为单独的一行出现，格式如下。

sed '[address]command\ new line'

new line中的文本按你指定的位置出现在sed编辑器的输出中。记住，当使用插入命令时， 文本会出现在指定行之前。

$ echo "testing" | sed 'i\
> This is a test'
This is a test
testing
$

当使用追加命令时，文本会出现在指定行之后。

$ echo "testing" | sed 'a\
> This is a test'
testing
This is a test
$

这允许你在普通文本的末尾插入文本。

1. 修改行

修改（change）命令允许你修改数据流中的整行文本。其格式跟插入和附加命令一样，你必须将新行与sed命令的其余部分分开。

$ sed '3c\
> This is a changed line of text.' data6

反斜线字符用来表明脚本中的新数据行。

1. 转换命令

转换（transform）命令（y）是唯一一个作用在单个字符上的sed编辑器命令。转换命令使用如下格式。

[address]y/inchars/outchars/

转换命令对inchars和outchars执行一对一的映射。inchars中的第一个字符会转换为outchars中的第一个字符，inchars中的第二个字符会转换为outchars中的第二个字符，依此 类推，直到超过了指定字符的长度。如果inchars和outchars长度不同，sed编辑器会报错。

1. 打印行

类似于替换命令中的p标记，p命令会在sed编辑器的输出中打印一行。打印（print）命令 最常见的用法是打印与指定文本模式匹配的文本行。

$ sed -n '/number 3/p' data6
This is line number 3.
$

打印命令允许你从输入流中过滤出特定的数据行。

1. 写入到文件

w命令用来将文本行写入到文件中。w命令的格式为：

[address]w filename

filename可以用相对路径或绝对路径指定，但不管怎样，运行sed编辑器的人都必须有文件的写权限。address可以是任意类型的寻址方法，比如单行行号、文本模式、行号区间或多个文本模式。
这里有个例子，它只将数据流的前两行写入到文本文件。

$ sed '1,2w test' data6

输出文件test只含有输入流的前两行。

1. 从文件中读取

你已经了解了如何使用sed命令向数据流中插入和附加文本。读取（read）命令（r）允许你插入单个文件中的数据。读取命令的格式为：

[address]r filename

其中filename参数使用相对路径或绝对路径的形式来指定含有数据的文件。读取命令不能使用地址区间，只能使用单个行号或文本模式地址。sed编辑器会将文件中的文本插入指定地址之后：

$ sed '3r data' data2

sed编辑器将data文件中的全部文本都插入了data2文件中第3行开始的地方。

B.2 gawk 程序

gawk程序是Unix上最初的awk程序的GNU版本。相较于sed编辑器使用的编辑器命令，awk 程序采用了编程语言的形式，将流编辑又推进了一步。作为一份gawk功能的快速参考，本节将介绍gawk程序的基础知识。

B.2.1 gawk 命令格式

gawk程序的基本格式如下。

gawk options program file

表B-2列出了gawk程序支持的选项。
表B-2 gawk选项

可以使用命令行选项轻松地定制gawk程序的功能。

B.2.2 使用 gawk

可以直接从命令行或shell脚本中使用gawk。本节将会演示如何使用gawk程序以及如何编写由gawk处理的脚本。

1. 从命令行上读取程序脚本

gawk程序脚本是由一对花括号定义的。你必须将脚本命令放在两个花括号之间。由于gawk 命令行假定脚本是一个文本字符串，你还必须用单引号来将脚本圈起来。下面是一个在命令行上指定的简单的gawk程序脚本。

$ gawk '{print $1}'

这个脚本会显示输入流中每行的第一个数据字段。

1. 在程序脚本中使用多条命令

如果只能执行一条命令的话，这门编程语言也没多大用处。gawk编程语言允许你将多条命令组合成一个普通的程序。要在命令行上指定的程序脚本中使用多条命令，只需在每个命令之间放一个分号就可以了。

$ echo "My name is Rich" | gawk '{$4="Dave"; print $0}'
My name is Dave
$

该脚本执行了两条命令：先用一个不同的值替换第四个数据字段，再显示流中的整个数据行。

1. 从文件中读取程序

跟sed编辑器一样，gawk编辑器允许你将程序存储在文件中，然后在命令行上引用它们。

$ cat script2
{ print $5 "'s userid is " $1 }
$ gawk -F: -f script2 /etc/passwd

gawk程序在输入数据流上执行了文件中指定的所有命令。

1. 在处理数据前运行脚本

gawk程序还允许你指定程序脚本何时运行。默认情况下，gawk从输入中读取一行文本，然后对这行文本中的数据执行程序脚本。有时，你可能需要在处理数据之前（比如创建报告的标题） 运行脚本。为了做到这点，可以使用BEGIN关键字。它会强制gawk先执行BEGIN关键字后面指定的程序脚本，然后再读取数据。

$ gawk 'BEGIN {print "This is a test report"}'
This is a test report
$

可以在BEGIN块中放置任何类型的gawk命令，比如给变量赋默认值。

1. 在处理数据后运行脚本

类似于BEGIN关键字，END关键字允许你指定一个程序脚本，在gawk读取数据后执行。

$ gawk 'BEGIN {print "Hello World!"} {print $0} END {print
"byebye"}' data1
Hello World!
This is a test
This is a test
This is another test.
This is another test.
byebye
$

gawk程序会先执行BEGIN块中的代码，然后处理输入流中的数据，最后执行END块中的代码。

B.2.3 gawk 变量

gawk程序不只是一个编辑器，还是一个完整的编程环境。正因为如此，有大量的命令和特性和gawk息息相关。本节将为你介绍使用gawk编程时需要知道的一些主要功能。

1. 内建变量

gawk程序使用内建变量来引用程序数据中特定特性。本节将会为你介绍可用于gawk程序中的内建变量及其用法。
gawk程序将数据定义成记录和数据字段。记录是一行数据（默认用换行符分隔），而数据字段则是行中独立的数据元素（默认用空白字符分隔，比如空格或制表符）。
gawk程序使用数据字段来引用每条记录中的数据元素。表B-3描述了这些变量。
表B-3 gawk数据字段和记录变量

除了字段和记录分隔符变量，gawk还提供了其他一些内建变量，可以帮助你了解数据的相关情况以及从shell环境中提取信息。表B-4介绍了gawk中其他的内建变量。
表B-4 更多的gawk内建变量

可以在gawk程序脚本中的任何地方使用内建变量，包括BEGIN和END代码块中。

1. 在脚本中给变量赋值

在gawk程序中给变量赋值类似于在shell脚本中给变量赋值，两者都使用赋值语句。

$ gawk '
> BEGIN{
> testing="This is a test"
> print testing
> }'
This is a test
$

给变量赋值后，就可以在gawk脚本中任何地方使用该变量了。

1. 在命令行上给变量赋值

也可以用gawk命令行为gawk程序给变量赋值。这允许你在正常代码外设置值，即时修改值。下面的例子使用命令行变量来显示文件中特定数据字段。

$ cat script1
BEGIN{FS=","}
{print $n}
$ gawk -f script1 n=2 data1
$ gawk -f script1 n=3 data1

这个特性是在gawk脚本中处理shell脚本数据的一个好办法。

B.2.4 gawk 程序的特性

gawk程序有一些特性使它非常便于数据操作，允许你创建gawk脚本来解析包括日志文件在内的几乎任何类型的文本文件。

1. 正则表达式

可使用基础正则表达式（BRE）或扩展正则表达式（ERE）将程序脚本要处理的行过滤出来。在使用正则表达式时，正则表达式必须出现在它所作用的程序代码的左花括号之前。

$ gawk 'BEGIN{FS=","} /test/{print $1}' data1
This is a test
$

1. 匹配操作符

匹配操作符（matching operator）允许你将正则表达式限定在数据行中的特定数据字段上。匹配操作符是波浪线（~）。你可以指定匹配操作符、数据字段变量以及要匹配的正则表达式。

$1 ~ /^data/

这个表达式会过滤出第一个数据字段以文本data开头的记录。

1. 数学表达式

除了正则表达式外，还可以在匹配模式中使用数学表达式。这个功能在匹配数据字段中的数字值时非常有用。举个例子，如果你要显示所有属于root用户组（组ID为0）的系统用户，可以使用如下脚本。

$ gawk -F: '$4 == 0{print $1}' /etc/passwd

这个脚本显示出第四个数据字段含有值0的所有行的第一个数据字段。

1. 结构化命令

gawk程序支持本节讨论的如下结构化命令。
if-then-else语句：

if (condition) statement1; else statement2

while语句：

while (condition)
{
statements
}

do-while语句：

do {
statements
} while (condition)

for语句：

for(variable assignment; condition; iteration process)

这为gawk脚本程序员提供了大量的编程手段。可以利用它们编写出能够媲美其他高级语言程序功能的gawk程序。