sed
流编辑器,过滤和替换文本。
工作原理:sed 命令将当前处理的行读入模式空间进行处理,处理完把结果输出,并清空模式空 间。然后再将下一行读入模式空间进行处理输出,以此类推,直到最后一行。还有一个空间叫保持 空间,又称暂存空间,可以暂时存放一些处理的数据,但不能直接输出,只能放到模式空间输出。 这两个空间其实就是在内存中初始化的一个内存区域,存放正在处理的数据和临时存放的数据。
Usage:
sed [选项] ‘地址 命令’ file
参数
选择参数
| 选择 | 描述 |
|---|---|
| -n | 不打印模式空间 |
| -e | 执行多个编辑器命令 |
| -f | 执行动作从文件读取执行 |
| -i | 修改原文件 |
| -r | 使用扩展正则表达式 |
命令参数
| 命令 | 描述 |
|---|---|
| s/regexp/replacement/ | 替换字符串 加上g 全局替换 |
| a \text | 当前行追加文本 |
| i \text | 当前行上面插入文本 |
| c \text | 所选行替换新文本 |
| b label | 分支到脚本中带有标签的位置,如果分支不存在则分支到脚本 的末尾 |
| d | 删除模式空间,开始下一个循环 |
| D | 删除模式空间的第一行,开始下一个循环 |
| g G | 复制/追加保持空间到模式空间 |
| h H | 复制/追加模式空间到保持空间 |
| l | 打印模式空间的行,并显示控制字符$ |
| n N | 读取/追加下一行输入到模式空间 |
| p | 打印当前模式空间 |
| P | 打印模式空间的第一行 |
| q | 立即退出 sed 脚本 |
| r | 追加文本来自文件 |
| t label | 如果 s///是一个成功的替换,才跳转到标签 |
| w filename | 写入当前模式空间到文件 |
| x | 交换模式空间和保持空间内容 |
| = | 打印当前行号 |
| : label | label 为 b 和 t 命令 |
| ! | 取反、否定 |
| & | 引用已匹配字符串 |
地址参数
| 地址 | 描述 |
|---|---|
| first~step | 步长,每 step 行,从第 first 开始 |
| $ | 匹配最后一行 |
| /regexp/ | 正则表达式匹配行 |
| number | 只匹配指定行 |
| addr1,addr2 | 开始匹配 addr1 行开始,直接 addr2 行结束 |
| addr1,+N | 从 addr1 行开始,向后的 N 行 |
| addr1,~N | 从 addr1 行开始,到 N 行结束 |
-n:只显示你操作提取的字符
比如-p时提取字符行,加-n只会打印输出提取的行
-d:删除字符行。
不要加-n,因为-n显示你查找到并操作的字符行,所以你把查找的字符删除了。-n就不会显示了
-i:在文件中执行并修改你的文件。如果不加-i,你的删除/添加/修改全部只是查看时的不一样。
示例:
不加 -n 会重复输出,加了-n才会单独输出你想要的参数
sed -n '3p' sed.txt #打印第3行的数据isnetserv 48128/udp # Image Systems Networksed -n '3,8p' sed.txt #打印3到6行的数据sed -n '3,$p' sed.txt #打印第3行到最后一行sed -n '/blp5/p' sed1.txt #打印包含blp5的行sed -n '/[0]/p' sed1.txt #打印包含0的行
$p: 最后一行
匹配打印(p)
1.打印奇数行,从0开始每次跳2
seq 10 | sed -n '1~2p' # ~ 跳跃
2.打印匹配行以及后一行
注意:此时blp5查找两个,但是+1p会以第一个往后,所以+1p会打印查找到的第二个
sed -n '/blp5/,+2p' sed1.txt #p要在最后
3.不打印最后一行
sed -n '$!p' sed1.txt #!在p的前面 取反!
4.匹配查询的行到最后一行
sed -n '/blp5/,$p' sed1.txt
5.引用系统变量,用引号
sed -n ''$a',3p' sed1.txtsed -n "$a,3p" sed1.txt
sed 命令用单引号时,里面变量用单引号引起来,或者 sed 命令用双引号,因为双引号解释特殊符 号原有意义。
6.以时间来访问日志
head -1 http.log #先查看一行,看日志格式sed -rn "/11:02:03/p" #以秒为单位过滤查找sed -rn "/11:05:10/,/11:10:10/p" #查找该时间段的日志内容#第二个时间千万不要写错了,不然就如同未指定结尾,直接查找到最后一行
匹配删除(d)
1.删除带有关键词的行
tail /etc/services |sed '/blp5/d'
2.删除第一行
tail /etc/services |sed '1d'
3.从第一行开始,删除第二个
tail /etc/services |sed '1~2d'
4.删除1到3行
tail /etc/services |sed '1,3d'
5.去除空格 http.conf 文件空行或开头#号的行:
sed '/^#/d;/^$/d' /etc/httpd/conf/httpd.conf
打印是把匹配的打印出来,删除是把匹配的删除,删除只是不用-n 选项。
6.从开头为bin的开始,删除到第5行
sed -r '/^bin/,5d' passwd
7.除了root外都删除
!d 表示非 删除
sed -r '/root/!d' passwd
替换(s///)
1.替换blp5字符串为test
tail /etc/services |sed 's/blp5/test/'tail /etc/services |sed 's/blp5/test/g' #加g全局替换
2.替换开头是 blp5 的字符串并打印
tail /etc/services |sed -n 's/^blp5/test/p'
3.使用&命令引用匹配内容并替换
tail /etc/services |sed 's/48049/&.0/' #&引用已经匹配的字符串s
4.IP加引号
#-r 追加文本#[^ ] 除了空格都匹配echo '10.10.10.1 10.10.10.2 10.10.10.3' |sed -r 's/[^ ]+/"&"/g'
5.对匹配行进行替换
tail /etc/services |sed '/49000\/tcp/s/matahari/liao123/'tail /etc/services |sed '/48129\/tcp/s/blp5/test/'
6.二次匹配替换
tail /etc/services |sed 's/blp5/test/;s/3g/4g/'
7.分组使用在每个字符串后面添加 123
tail /etc/services | sed -r 's/(.*)(.*)(#.*)/\1\2test \3/'
第一列是第一个小括号匹配,第二列第二个小括号匹配,第三列一样。将不变的字符串匹配分组, 再通过\数字按分组顺序反向引用。
8.将协议与端口号位置调换
tail /etc/services |sed -r 's/(.*)(\<[0-9]+\>)\/(tcp|udp)(.*)/\1\3\/\2\4/'
9.位置调换
echo "abc cde xyz" |sed -r 's/(.*)x/\1X/'
10.注释匹配行后的多少行
seq 10 |sed '/5/,+3s/^/#/'
11.注释指定多行
seq 5 |sed -r 's/^3|^4/&#/'seq 5 |sed -r '/^3|^4/s/^/#/'seq 5 |sed -r 's/^3|^4/#\0/'
12.去除开头和结尾空格或制表符
echo " 1 2 3 " |sed 's/^[ \t]*//;s/[ \t]*$//'
后向引用
s/这里内容需要括起来/\1代表第一个括号,\2代表第二个括号/
13.指定行添加#
sed -r "1,5 s/(.*)/#\1/" passwd&表示任意内容
14.指定行的第二个字母添加AAA
sed -r "1,5 s/(.)(.)(.*)/\1AAA\2\3/" passwd
15.写入保存命令w,将模式空间的内容写入到file中
sed -rn "/root/w 1.txt" passwd
16.内容翻转
echo liao_boy | sed -r 's/(^.*)_(.*)/\2_\1/'
多重编辑(-e)
1.删除第一第二行,并且替换字符
tail /etc/services |sed -e '1,2d' -e 's/blp5/test/'#可以使用分号分隔tail /etc/services |sed '1,2d;s/blp5/test/'
添加新内容(c,a,i)
1.在blp5上一行添加test
tail /etc/services |sed '/blp5/i \test' #i 在字符行上添加一行
2.在blp5下一行添加test
tail /etc/services |sed '/blp5/a \test' #a 在字符行下添加一
3.将blgp5替换新行
tail /etc/services |sed '/blp5/c \test' #c 添加并替换成新的一行
4.在指定行下一行添加一行
tail /etc/services |sed '2a \test' #2a 在字符行后第二行添加一行
5.在指定行前面和后面添加一行
seq 5 |sed '3s/.*/txt\n&/'seq 5 |sed '3s/.*/&\ntxt/'
6.一键修改网卡配置文件
cat /etc/sysconfig/network-scripts/ifcfg-enp7s0 | sed -r 's/BOOTPROTO="none"/BOOTPROTO="static"/;s/ONBOOT="no"/ONBOOT="yes"/' | sed '$a IPADDR="192.168.1.1"\nPREFIX="24"\nGATEWAY="192.168.1.2"\nDNS1="114.114.114.114"'
读取文件并追加到匹配行后(r)
1.从blp5开始,后面显示a.txt的内容。#r 追加显示匹配的内容
tail /etc/services |sed '/blp5/r a.txt' #将a.txt的内容添加到blp5后面
将匹配行写到文件(w)
W
1.追加查询到的内容
tail /etc/services |sed '/blp5/w b.txt' #w 追加查询到的内容sed -n '/liao123/w liao.log' data1.txt #将只有liao123的数据写入到liao.log
读取下一行(n和N)
n 读取下一行到模式空间。
N 追加下一行内容到模式空间,并以换行符\n 分隔。
1.打印匹配的下一行
seq 5 |sed -n '/3/{n;p}'
2.打印偶数
seq 6 |sed -n 'n;p'
sed 先读取第一行 1,执行 n 命令,获取下一行 2,此时模式空间是 2,执行 p 命令,打印模式空 间。 现在模式空间是 2,sed 再读取 3,执行 n 命令,获取下一行 4,此时模式空间为 4,执行 p 命 令,以此类推。
3.打印奇数
seq 6 | sed 'n;d'seq 6 |sed -n 'p;n'
sed 先读取第一行 1,此时模式空间是 1,并打印模式空间 1,执行 n 命令,获取下一行 2,执行 d 命令,删除模式空间的 2,sed 再读取 3,此时模式空间是 3,并打印模式空间,再执行 n 命令,获 取下一行 4,执行 d 命令,删除模式空间的 3,以此类推。
4.每三次执行一次p命令
seq 6 |sed 'n;n;p'
sed 先读取第一行 1,并打印模式空间 1,执行 n 命令,获取下一行 2,并打印模式空间 2,再执行 n 命令,获取下一行 3,执行 p 命令,打印模式空间 3。sed 读取下一行 3,并打印模式空间 3,以此类 推。
5.每三次替换一次
seq 6 | sed 'n;n;s/^/=/;s/$/=/'seq 6 |sed '3~3{s/^/=/;s/$/=/}'
我们只是把 p 命令改成了替换命令。
当执行多个 sed 命令时,有时相互会产生影响,我们可以用大括号{}把他们括起来。
6.N命令的功能
seq 6 | sed 'N;q'
第一个命令:sed 读取第一行 1,N 命令读取下一行 2,并以\n2 追加,此时模式空间是 1\n2,再执 行 q 退出。 为了进一步说明 N 的功能,看第二个命令:执行 N 命令后,此时模式空间是 1\n2,再执行把\n 替换 为空,此时模式空间是 12,并打印。
seq 5 |sed -n 'N;p'
为什么第一个不打印 5 呢? 因为 N 命令是读取下一行追加到 sed 读取的当前行,当 N 读取下一行没有内容时,则退出,也不会 执行 p 命令打印当前行。 当行数为偶数时,N 始终就能读到下一行,所以也会执行 p 命令。
7.打印奇数行数时的最后一行
seq 5 |sed -n '$!N;p'
8.把某一行后的指定内容进行更换
sed -r '/adm/{n;s/sbin/uuu/}' passwd
打印和删除模式空间第一行(P和D)
P 打印模式空间的第一行
D 删除模式空间的第一行
1.打印奇数
seq 6 |sed -n 'N;P'
2.保留最后一行
seq 6 | sed 'N;D'
读取第一行 1,执行 N 命令读取下一行并追加到模式空间,此时模式空间是 1\n2,执行 D 命令删除 模式空间第一行 1,剩余 2。 读取第二行,执行 N 命令,此时模式空间是 3\n4,执行 D 命令删除模式空间第一行 3,剩余 4。 以此类推,读取最后一行打印时,而 N 获取不到下一行则退出,不再执行 D,因此模式空间只剩余 6 就打印。
保持空间操作(h,H,g,G,x)
h 复制模式空间内容到保持空间(覆盖)。
H 复制模式空间内容追加到保持空间。
g 复制保持空间内容到模式空间(覆盖)。
G 复制保持空间内容追加到模式空间。
x 模式空间与保持空间内容互换
1.将匹配的内容覆盖到另一个匹配
seq 6 |sed -e '/3/{h;d}' -e '/5/g' #e 执行脚本 表达式来处理
h 命令把匹配的 3 复制到保持空间,d 命令删除模式空间的 3。后面命令再对模式空间匹配 5,并用 g 命令把保持空间 3 覆盖模式空间 5。
2.将匹配内容放到最后
seq 6 | sed -e '3/{h;d}' -e '$G'
3.交换模式空间和保持空间
seq 6 | sed -e '/3/{h;d}' -e '/5/x' -e '$G'
看后面命令,在模式空间匹配 5 并将保持空间的 3 与 5 交换,5 就变成了 3,。最后把保持空间的 5 追加到模式空间的。
4.倒叙输出
seq 5 |sed '1!G;h;$!d'
1!G 第一行不执行把保持空间内容追加到模式空间,因为现在保持空间还没有数据。 h 将模式空间放到保持空间暂存。 $!d 最后一行不执行删除模式空间的内容。 读取第一行 1 时,跳过 G 命令,执行 h 命令将模式空间 1 复制到保持空间,执行 d 命令删除模式空 间的 1。 读取第二行 2 时,模式空间是 2,执行 G 命令,将保持空间 1 追加到模式空间,此时模式空间是 2\n1,执行 h 命令将 2\n1 覆盖到保持空间,d 删除模式空间。 读取第三行 3 时,模式空间是 3,执行 G 命令,将保持空间 2\n1 追加到模式空间,此时模式空间是 3\n2\n1,执行 h 命令将模式空间内容复制到保持空间,d 删除模式空间。 以此类推,读到第 5 行时,模式空间是 5,执行 G 命令,将保持空间的 4\n3\n2\n1 追加模式空间, 然后复制到模式空间,5\n4\n3\n2\n1,不执行 d,模式空间保留,输出。 由此可见,每次读取的行先放到模式空间,再复制到保持空间,d 命令删除模式空间内容,防止输 出,再追加到模式空间,因为追加到模式空间,会追加到新读取的一行的后面,循环这样操作, 就 把所有行一行行追加到新读取行的后面,就形成了倒叙。
5.每行后面添加新空行
seq 10 | sed G
6.打印匹配行的上一行内容
seq 5 |sed -n '/3/{x;p};h'
读取第一行 1,没有匹配到 3,不执行{x;p},执行 h 命令将模式空间内容 1 覆盖到保持空间。 读取第二行 2,没有匹配到 3,不执行{x;p},执行 h 命令将模式空间内容 2 覆盖到保持空间。 读取第三行 3,匹配到 3,执行 x 命令把模式空间 3 与保持空间 2 交换,再执行 p 打印模式空间 2. 以此类推。
7.打印匹配行到最后一行或下一行到最后一行
seq 5 |sed -n '/3/,$p'seq 5 |sed -n '/3/,${h;x;p}'seq 5 |sed -n '/3/{:a;N;$!ba;p}'seq 5 |sed -n '/3/{n;:a;N;$!ba;p}'
匹配到 3 时,n 读取下一行 4,此时模式空间是 4,执行 N 命令读取下一行并追加到模式空间,此时 模式空间是 4\n5,标签循环完成后打印模式空间 4\n5。
标签(:,b和t)
标签可以控制流,实现分支判断
: lable name 定义标签
b lable 跳转到指定标签,如果没有标签则到脚本末尾
t lable 跳转到指定标签,前提是 s///命令执行成功
1.将换行符替换成逗号
seq 6 |sed 'N;s/\n/,/'
这种方式并不能满足我们的需求,每次 sed 读取到模式空间再打印是新行,替换\n 也只能对 N 命令 追加后的 1\n2 这样替换。
seq 6|sed ':a;N;s/\n/,/;b a'
看看这里的标签使用,:a 是定义的标签名,b a 是跳转到 a 位置。 sed 读取第一行 1,N 命令读取下一行 2,此时模式空间是 1\n2,执行 b 命令再跳转到标签 a 位置继续执行 N 命令,读取下一行 3 追加到模式空间,此时模式 空间是 1,2\n3$,再替换,以此类推,不断追加替换,直到最后一行 N 读不到下一行内容退出。
seq 6 |sed ':a;N;$!b a;s/\n/,/g'
先将每行读入到模式空间,最后再执行全局替换。$!是如果是最后一行,则不执行b a 跳转,最后执行全局替换
seq 6 |sed ':a;N;b a;s/\n/,/g'
2.每三个数字加一个逗号
echo "123456789" |sed -r 's/([0-9]+)([0-9]+{3})/\1,\2/'echo "123456789" |sed -r ':a;s/([0-9]+)([0-9]+{3})/\1,\2/;t a'echo "123456789" |sed -r ':a;s/([0-9]+)([0-9]+{2})/\1,\2/;t a'
执行第一次时,替换最后一个,跳转后,再对 123456 匹配替换,直到匹配替换不成功,不执行 t 命 令。
忽略大小写匹配(I)
echo -e "a\nA\nb\nc" |sed 's/a/1/Ig'
获取/打印总行数(=)
seq 10 | sed -n '$='ssed '=' data7.txt
命令组合
sed '2{s/123/222/s/aaa/bbb}' 1.txt
单个字符的批量转换
sed 'y/123/456/g' #将所有的1,2,3转换为4,5,6
