sed

流编辑器,过滤和替换文本。
工作原理:sed 命令将当前处理的行读入模式空间进行处理,处理完把结果输出,并清空模式空 间。然后再将下一行读入模式空间进行处理输出,以此类推,直到最后一行。还有一个空间叫保持 空间,又称暂存空间,可以暂时存放一些处理的数据,但不能直接输出,只能放到模式空间输出。 这两个空间其实就是在内存中初始化的一个内存区域,存放正在处理的数据和临时存放的数据。

Usage:
sed [选项] ‘地址 命令’ file

参数

选择参数

选择 描述
-n 不打印模式空间
-e 执行多个编辑器命令
-f 执行动作从文件读取执行
-i 修改原文件
-r 使用扩展正则表达式

命令参数

命令 描述
s/regexp/replacement/ 替换字符串 加上g 全局替换
a \text 当前行追加文本
i \text 当前行上面插入文本
c \text 所选行替换新文本
b label 分支到脚本中带有标签的位置,如果分支不存在则分支到脚本 的末尾
d 删除模式空间,开始下一个循环
D 删除模式空间的第一行,开始下一个循环
g G 复制/追加保持空间到模式空间
h H 复制/追加模式空间到保持空间
l 打印模式空间的行,并显示控制字符$
n N 读取/追加下一行输入到模式空间
p 打印当前模式空间
P 打印模式空间的第一行
q 立即退出 sed 脚本
r 追加文本来自文件
t label 如果 s///是一个成功的替换,才跳转到标签
w filename 写入当前模式空间到文件
x 交换模式空间和保持空间内容
= 打印当前行号
: label label 为 b 和 t 命令
! 取反、否定
& 引用已匹配字符串

地址参数

地址 描述
first~step 步长,每 step 行,从第 first 开始
$ 匹配最后一行
/regexp/ 正则表达式匹配行
number 只匹配指定行
addr1,addr2 开始匹配 addr1 行开始,直接 addr2 行结束
addr1,+N 从 addr1 行开始,向后的 N 行
addr1,~N 从 addr1 行开始,到 N 行结束

-n:只显示你操作提取的字符
比如-p时提取字符行,加-n只会打印输出提取的行

-d:删除字符行。
不要加-n,因为-n显示你查找到并操作的字符行,所以你把查找的字符删除了。-n就不会显示了

-i:在文件中执行并修改你的文件。如果不加-i,你的删除/添加/修改全部只是查看时的不一样。

示例:

不加 -n 会重复输出,加了-n才会单独输出你想要的参数

  1. sed -n '3p' sed.txt #打印第3行的数据
  2. isnetserv 48128/udp # Image Systems Network
  3. sed -n '3,8p' sed.txt #打印3到6行的数据
  4. sed -n '3,$p' sed.txt #打印第3行到最后一行
  5. sed -n '/blp5/p' sed1.txt #打印包含blp5的行
  6. sed -n '/[0]/p' sed1.txt #打印包含0的行

$p: 最后一行

匹配打印(p)

1.打印奇数行,从0开始每次跳2

  1. seq 10 | sed -n '1~2p' # ~ 跳跃

2.打印匹配行以及后一行

注意:此时blp5查找两个,但是+1p会以第一个往后,所以+1p会打印查找到的第二个

  1. sed -n '/blp5/,+2p' sed1.txt #p要在最后

3.不打印最后一行

  1. sed -n '$!p' sed1.txt #!在p的前面 取反!

4.匹配查询的行到最后一行

  1. sed -n '/blp5/,$p' sed1.txt

5.引用系统变量,用引号

  1. sed -n ''$a',3p' sed1.txt
  2. sed -n "$a,3p" sed1.txt

sed 命令用单引号时,里面变量用单引号引起来,或者 sed 命令用双引号,因为双引号解释特殊符 号原有意义。

6.以时间来访问日志

  1. head -1 http.log #先查看一行,看日志格式
  2. sed -rn "/11:02:03/p" #以秒为单位过滤查找
  3. sed -rn "/11:05:10/,/11:10:10/p" #查找该时间段的日志内容
  4. #第二个时间千万不要写错了,不然就如同未指定结尾,直接查找到最后一行

匹配删除(d)

1.删除带有关键词的行

  1. tail /etc/services |sed '/blp5/d'

2.删除第一行

  1. tail /etc/services |sed '1d'

3.从第一行开始,删除第二个

  1. tail /etc/services |sed '1~2d'

4.删除1到3行

  1. tail /etc/services |sed '1,3d'

5.去除空格 http.conf 文件空行或开头#号的行:

  1. sed '/^#/d;/^$/d' /etc/httpd/conf/httpd.conf

打印是把匹配的打印出来,删除是把匹配的删除,删除只是不用-n 选项。

6.从开头为bin的开始,删除到第5行

  1. sed -r '/^bin/,5d' passwd

7.除了root外都删除
!d 表示非 删除

  1. sed -r '/root/!d' passwd

替换(s///)

1.替换blp5字符串为test

  1. tail /etc/services |sed 's/blp5/test/'
  2. tail /etc/services |sed 's/blp5/test/g' #加g全局替换

2.替换开头是 blp5 的字符串并打印

  1. tail /etc/services |sed -n 's/^blp5/test/p'

3.使用&命令引用匹配内容并替换

  1. tail /etc/services |sed 's/48049/&.0/' #&引用已经匹配的字符串s

4.IP加引号

  1. #-r 追加文本
  2. #[^ ] 除了空格都匹配
  3. echo '10.10.10.1 10.10.10.2 10.10.10.3' |sed -r 's/[^ ]+/"&"/g'

5.对匹配行进行替换

  1. tail /etc/services |sed '/49000\/tcp/s/matahari/liao123/'
  2. tail /etc/services |sed '/48129\/tcp/s/blp5/test/'

6.二次匹配替换

  1. tail /etc/services |sed 's/blp5/test/;s/3g/4g/'

7.分组使用在每个字符串后面添加 123

  1. tail /etc/services | sed -r 's/(.*)(.*)(#.*)/\1\2test \3/'

第一列是第一个小括号匹配,第二列第二个小括号匹配,第三列一样。将不变的字符串匹配分组, 再通过\数字按分组顺序反向引用。

8.将协议与端口号位置调换

  1. tail /etc/services |sed -r 's/(.*)(\<[0-9]+\>)\/(tcp|udp)(.*)/\1\3\/\2\4/'

9.位置调换

  1. echo "abc cde xyz" |sed -r 's/(.*)x/\1X/'

10.注释匹配行后的多少行

  1. seq 10 |sed '/5/,+3s/^/#/'

11.注释指定多行

  1. seq 5 |sed -r 's/^3|^4/&#/'
  2. seq 5 |sed -r '/^3|^4/s/^/#/'
  3. seq 5 |sed -r 's/^3|^4/#\0/'

12.去除开头和结尾空格或制表符

  1. echo " 1 2 3 " |sed 's/^[ \t]*//;s/[ \t]*$//'

后向引用

s/这里内容需要括起来/\1代表第一个括号,\2代表第二个括号/

13.指定行添加#

  1. sed -r "1,5 s/(.*)/#\1/" passwd
  2. &表示任意内容

14.指定行的第二个字母添加AAA

  1. sed -r "1,5 s/(.)(.)(.*)/\1AAA\2\3/" passwd

15.写入保存命令w,将模式空间的内容写入到file中

  1. sed -rn "/root/w 1.txt" passwd

16.内容翻转

  1. echo liao_boy | sed -r 's/(^.*)_(.*)/\2_\1/'

多重编辑(-e)

1.删除第一第二行,并且替换字符

  1. tail /etc/services |sed -e '1,2d' -e 's/blp5/test/'
  2. #可以使用分号分隔
  3. tail /etc/services |sed '1,2d;s/blp5/test/'

添加新内容(c,a,i)

1.在blp5上一行添加test

  1. tail /etc/services |sed '/blp5/i \test' #i 在字符行上添加一行

2.在blp5下一行添加test

  1. tail /etc/services |sed '/blp5/a \test' #a 在字符行下添加一

3.将blgp5替换新行

  1. tail /etc/services |sed '/blp5/c \test' #c 添加并替换成新的一行

4.在指定行下一行添加一行

  1. tail /etc/services |sed '2a \test' #2a 在字符行后第二行添加一行

5.在指定行前面和后面添加一行

  1. seq 5 |sed '3s/.*/txt\n&/'
  2. seq 5 |sed '3s/.*/&\ntxt/'

6.一键修改网卡配置文件

  1. cat /etc/sysconfig/network-scripts/ifcfg-enp7s0 | sed -r 's/BOOTPROTO="none"/BOOTPROTO="static"/;s/ONBOOT="no"/ONBOOT="yes"/' | sed '$a IPADDR="192.168.1.1"\nPREFIX="24"\nGATEWAY="192.168.1.2"\nDNS1="114.114.114.114"'

读取文件并追加到匹配行后(r)

1.从blp5开始,后面显示a.txt的内容。
#r 追加显示匹配的内容

  1. tail /etc/services |sed '/blp5/r a.txt' #将a.txt的内容添加到blp5后面

将匹配行写到文件(w)

W
1.追加查询到的内容

  1. tail /etc/services |sed '/blp5/w b.txt' #w 追加查询到的内容
  2. sed -n '/liao123/w liao.log' data1.txt #将只有liao123的数据写入到liao.log

读取下一行(n和N)

n 读取下一行到模式空间。

N 追加下一行内容到模式空间,并以换行符\n 分隔。

1.打印匹配的下一行

  1. seq 5 |sed -n '/3/{n;p}'

2.打印偶数

  1. seq 6 |sed -n 'n;p'

sed 先读取第一行 1,执行 n 命令,获取下一行 2,此时模式空间是 2,执行 p 命令,打印模式空 间。 现在模式空间是 2,sed 再读取 3,执行 n 命令,获取下一行 4,此时模式空间为 4,执行 p 命 令,以此类推。

3.打印奇数

  1. seq 6 | sed 'n;d'
  2. seq 6 |sed -n 'p;n'

sed 先读取第一行 1,此时模式空间是 1,并打印模式空间 1,执行 n 命令,获取下一行 2,执行 d 命令,删除模式空间的 2,sed 再读取 3,此时模式空间是 3,并打印模式空间,再执行 n 命令,获 取下一行 4,执行 d 命令,删除模式空间的 3,以此类推。

4.每三次执行一次p命令

  1. seq 6 |sed 'n;n;p'

sed 先读取第一行 1,并打印模式空间 1,执行 n 命令,获取下一行 2,并打印模式空间 2,再执行 n 命令,获取下一行 3,执行 p 命令,打印模式空间 3。sed 读取下一行 3,并打印模式空间 3,以此类 推。

5.每三次替换一次

  1. seq 6 | sed 'n;n;s/^/=/;s/$/=/'
  2. seq 6 |sed '3~3{s/^/=/;s/$/=/}'

我们只是把 p 命令改成了替换命令。

当执行多个 sed 命令时,有时相互会产生影响,我们可以用大括号{}把他们括起来。

6.N命令的功能

  1. seq 6 | sed 'N;q'

第一个命令:sed 读取第一行 1,N 命令读取下一行 2,并以\n2 追加,此时模式空间是 1\n2,再执 行 q 退出。 为了进一步说明 N 的功能,看第二个命令:执行 N 命令后,此时模式空间是 1\n2,再执行把\n 替换 为空,此时模式空间是 12,并打印。

  1. seq 5 |sed -n 'N;p'

为什么第一个不打印 5 呢? 因为 N 命令是读取下一行追加到 sed 读取的当前行,当 N 读取下一行没有内容时,则退出,也不会 执行 p 命令打印当前行。 当行数为偶数时,N 始终就能读到下一行,所以也会执行 p 命令。

7.打印奇数行数时的最后一行

  1. seq 5 |sed -n '$!N;p'

8.把某一行后的指定内容进行更换

  1. sed -r '/adm/{n;s/sbin/uuu/}' passwd

打印和删除模式空间第一行(P和D)

P 打印模式空间的第一行

D 删除模式空间的第一行

1.打印奇数

  1. seq 6 |sed -n 'N;P'

2.保留最后一行

  1. seq 6 | sed 'N;D'

读取第一行 1,执行 N 命令读取下一行并追加到模式空间,此时模式空间是 1\n2,执行 D 命令删除 模式空间第一行 1,剩余 2。 读取第二行,执行 N 命令,此时模式空间是 3\n4,执行 D 命令删除模式空间第一行 3,剩余 4。 以此类推,读取最后一行打印时,而 N 获取不到下一行则退出,不再执行 D,因此模式空间只剩余 6 就打印。

保持空间操作(h,H,g,G,x)

h 复制模式空间内容到保持空间(覆盖)。

H 复制模式空间内容追加到保持空间。

g 复制保持空间内容到模式空间(覆盖)。

G 复制保持空间内容追加到模式空间。

x 模式空间与保持空间内容互换

1.将匹配的内容覆盖到另一个匹配

  1. seq 6 |sed -e '/3/{h;d}' -e '/5/g' #e 执行脚本 表达式来处理

h 命令把匹配的 3 复制到保持空间,d 命令删除模式空间的 3。后面命令再对模式空间匹配 5,并用 g 命令把保持空间 3 覆盖模式空间 5。

2.将匹配内容放到最后

  1. seq 6 | sed -e '3/{h;d}' -e '$G'

3.交换模式空间和保持空间

  1. seq 6 | sed -e '/3/{h;d}' -e '/5/x' -e '$G'

看后面命令,在模式空间匹配 5 并将保持空间的 3 与 5 交换,5 就变成了 3,。最后把保持空间的 5 追加到模式空间的。

4.倒叙输出

  1. seq 5 |sed '1!G;h;$!d'

1!G 第一行不执行把保持空间内容追加到模式空间,因为现在保持空间还没有数据。 h 将模式空间放到保持空间暂存。 $!d 最后一行不执行删除模式空间的内容。 读取第一行 1 时,跳过 G 命令,执行 h 命令将模式空间 1 复制到保持空间,执行 d 命令删除模式空 间的 1。 读取第二行 2 时,模式空间是 2,执行 G 命令,将保持空间 1 追加到模式空间,此时模式空间是 2\n1,执行 h 命令将 2\n1 覆盖到保持空间,d 删除模式空间。 读取第三行 3 时,模式空间是 3,执行 G 命令,将保持空间 2\n1 追加到模式空间,此时模式空间是 3\n2\n1,执行 h 命令将模式空间内容复制到保持空间,d 删除模式空间。 以此类推,读到第 5 行时,模式空间是 5,执行 G 命令,将保持空间的 4\n3\n2\n1 追加模式空间, 然后复制到模式空间,5\n4\n3\n2\n1,不执行 d,模式空间保留,输出。 由此可见,每次读取的行先放到模式空间,再复制到保持空间,d 命令删除模式空间内容,防止输 出,再追加到模式空间,因为追加到模式空间,会追加到新读取的一行的后面,循环这样操作, 就 把所有行一行行追加到新读取行的后面,就形成了倒叙。

5.每行后面添加新空行

  1. seq 10 | sed G

6.打印匹配行的上一行内容

  1. seq 5 |sed -n '/3/{x;p};h'

读取第一行 1,没有匹配到 3,不执行{x;p},执行 h 命令将模式空间内容 1 覆盖到保持空间。 读取第二行 2,没有匹配到 3,不执行{x;p},执行 h 命令将模式空间内容 2 覆盖到保持空间。 读取第三行 3,匹配到 3,执行 x 命令把模式空间 3 与保持空间 2 交换,再执行 p 打印模式空间 2. 以此类推。

7.打印匹配行到最后一行或下一行到最后一行

  1. seq 5 |sed -n '/3/,$p'
  2. seq 5 |sed -n '/3/,${h;x;p}'
  3. seq 5 |sed -n '/3/{:a;N;$!ba;p}'
  4. seq 5 |sed -n '/3/{n;:a;N;$!ba;p}'

匹配到 3 时,n 读取下一行 4,此时模式空间是 4,执行 N 命令读取下一行并追加到模式空间,此时 模式空间是 4\n5,标签循环完成后打印模式空间 4\n5。

标签(:,b和t)

标签可以控制流,实现分支判断

: lable name 定义标签

b lable 跳转到指定标签,如果没有标签则到脚本末尾

t lable 跳转到指定标签,前提是 s///命令执行成功

1.将换行符替换成逗号

  1. seq 6 |sed 'N;s/\n/,/'

这种方式并不能满足我们的需求,每次 sed 读取到模式空间再打印是新行,替换\n 也只能对 N 命令 追加后的 1\n2 这样替换。

  1. seq 6|sed ':a;N;s/\n/,/;b a'

看看这里的标签使用,:a 是定义的标签名,b a 是跳转到 a 位置。 sed 读取第一行 1,N 命令读取下一行 2,此时模式空间是 1\n2Linux 三剑客-sed - 图1,执行 b 命令再跳转到标签 a 位置继续执行 N 命令,读取下一行 3 追加到模式空间,此时模式 空间是 1,2\n3$,再替换,以此类推,不断追加替换,直到最后一行 N 读不到下一行内容退出。

  1. seq 6 |sed ':a;N;$!b a;s/\n/,/g'

先将每行读入到模式空间,最后再执行全局替换。$!是如果是最后一行,则不执行b a 跳转,最后执行全局替换

  1. seq 6 |sed ':a;N;b a;s/\n/,/g'

2.每三个数字加一个逗号

  1. echo "123456789" |sed -r 's/([0-9]+)([0-9]+{3})/\1,\2/'
  2. echo "123456789" |sed -r ':a;s/([0-9]+)([0-9]+{3})/\1,\2/;t a'
  3. echo "123456789" |sed -r ':a;s/([0-9]+)([0-9]+{2})/\1,\2/;t a'

执行第一次时,替换最后一个,跳转后,再对 123456 匹配替换,直到匹配替换不成功,不执行 t 命 令。

忽略大小写匹配(I)

  1. echo -e "a\nA\nb\nc" |sed 's/a/1/Ig'

获取/打印总行数(=)

  1. seq 10 | sed -n '$='s
  2. sed '=' data7.txt

命令组合

  1. sed '2{
  2. s/123/222/
  3. s/aaa/bbb
  4. }' 1.txt

单个字符的批量转换

  1. sed 'y/123/456/g' #将所有的1,2,3转换为4,5,6