sed （stream editor）是 Linux 上强大的流编辑器，用程序的方式来编辑文本，非常强大。

基础使用

常用参数

sed [OPTION]... {script-only-if-no-other-script} [input-file]...

A file name of - refers to the standard input stream.

-n, —quite, —slient to suppress output

-e script, —expression=script 指定脚本

-f script-file, —file=script-file 指定脚本文件

-i, edit file in-place. 默认sed 编辑器不会修改文件的数据，修改后的数据发送到 STDOUT。使用 -i 直接修改文件。

-E, -r, —regexp-extended, Use extended regular expressions rather than basic regular expressions.

-s, —separate

-u, —unbuffered Buffer both input and output as minimally as practical. (This is particularly useful if the input is coming from the likes of tail -f, and you wish to see the transformed output as soon as possible.)

  1. # 指定脚本文件
  2. $ sed -f script1.sed data1.txt
  4. $ sed ’s/hello/world/’ input.txt > output.txt
  5. $ sed -e ’s/hello/world/’ input.txt > output.txt
  6. $ sed --expression=’s/hello/world/’ input.txt > output.txt
  8. $ echo ’s/hello/world/’ > myscript.sed
  9. $ sed -f myscript.sed input.txt > output.txt
  10. $ sed --file=myscript.sed input.txt > output.txt
  12. # sed 默认输出到标准输出，使用 -i 直接编辑文件 
  13. $ sed -i ’s/hello/world/’ file.txt

替换 s

s/pattern/replacement/flags

默认只替换每行中出现的第一处。有4种可用的替换标记：

  • 数字，表明新文本将替换第几处模式匹配的地方；
  • g，全部替换；
  • p，打印；
  • w file，将替换结果写到文件中；

p 替换标记常和 -n 选项一起使用。-n 选项禁止 sed 编辑器输出，二者配合使用就是只输出被替换命令修改过的行。

  1. $ echo "This is a test" | sed 's/test/big test/'
  2. This is a big test
  4. # 使用多个命令
  5. $ sed 's/brown/green/; s/dog/cat/' data2.txt
  7. # test.txt 中的 dog 替换为 cat
  8. $ sed 's/dog/cat/' test.txt
  10. # 替换每行的第二处
  11. $ sed 's/dog/cat/2' test.txt
  13. # 替换所有
  14. $ sed 's/dog/cat/g' test.txt
  16. # 替换第2个以后的dog
  17. $ sed 's/dog/cat/2g' test.txt
  19. # 打印替换的行
  20. $ sed -n 's/dog/cat/p' test.txt
  22. # 替换的行写到文件中
  23. $ sed 's/dog/cat/w out.txt' test.txt
  25. # 替换 /etc/passwd 中的 shell
  26. $ sed 's/\/bin\/bash/\/bin\/csh/' /etc/passwd
  28. # 上面不容易看懂，可以指定其它字符串分隔符
  29. $ sed 's!/bin/bash!/bin/csh!' /etc/passwd
  31. # 在开头插入
  32. $ seq 5 | sed 's/^/# /g'
  33. # 1
  34. # 2
  35. # 3
  36. # 4
  37. # 5
  39. # 在尾部插入
  40. $ seq 5 | sed 's/$/# /g'
  41. 1#
  42. 2#
  43. 3#
  44. 4#
  45. 5#

使用地址

以数字形式表示行区间

  1. # 替换第2行
  2. $ sed '2s/dog/cat/' test.txt
  4. # 替换第2-3行
  5. $ sed '2,3s/dog/cat/' test.txt
  7. # 替换从第2行开始的所有行，$ 表示最后一行
  8. $ sed '2,$s/dog/cat/' test.txt
  10. # 执行多条命令
  11. $ sed '3,${
  12. > s/fox/elephant/
  13. > s/dog/cat/
  14. > }' data1.txt
  16. # +3 表示之后的三行
  17. $ seq 5 | sed '/2/,+3s/^/# /g'
  18. 1
  19. # 2
  20. # 3
  21. # 4
  22. # 5

使用文本模式过滤器：/pattern/command

  1. # 修改用户 xiaocan 的 shell
  2. $ sed '/xiaocan/s/bash/zsh/' /etc/passwd
  4. # 使用正则表达式
  5. $ echo "This is a test" | sed -n "/test/p"
  7. # 从行首匹配
  8. $ echo "Books are great" | sed -n "/^Book/p"
  10. # 从行尾匹配
  11. $ echo "Books are great" | sed -n "/great$/p"

删除行 d

使用 d 删除行：

  1. # 删除第三行
  2. $ seq 10 | sed '3d'
  3. # 删除第1-3行
  4. $ seq 10 | sed '1,3d'
  6. # 删除包含 4 的行
  7. $ seq 4 | sed '/4/d'
  8. # 删除包含2 和 3 之间的所有行
  9. $ seq 10 | sed '/2/,/3/d'
  11. # 会删除包含 2 开始的所有行（找不到 11）
  12. $ sed 10 | sed '/2/,/11/d'
  14. # ^$ 匹配空白行，下面的例子会删除空白行
  15. $ sed '/^$/d' data.txt

插入文本 a i

sed '[address]command\new line'

i 在指定行前增加一个新行；

a 在指定行后增加一个新行；

  1. # insert
  2. $ echo "Test line 2" | sed 'i\Test line 1'
  3. Test line 1
  4. Test line 2
  6. # 可以不添加 \
  7. $ echo "Test line 2" | sed 'i Test line 1'
  8. Test line 1
  9. Test line 2
  11. # append
  12. $ echo "Test line 2" | sed 'a\Test line 1'
  13. Test line 2    
  14. Test line 1
  16. # 指定行
  17. $ seq 3 | sed '1i\0'
  18. 0
  19. 1
  20. 2
  21. 3
  23. # 插入空白行
  24. $ seq 3 | sed '2i\ \'
  25. $ seq 3 | sed '2i\\'
  27. # 在最后一行添加
  28. $ seq 3 | sed '$a\4'
  29. 1
  30. 2
  31. 3
  32. 4
  34. # 添加多行，使用 \ 分割
  35. $ seq 3 | sed '$a\4\
  36. > 5\
  37. > 6'
  38. 1
  39. 2
  40. 3
  41. 4
  42. 5
  43. 6

修改行 c

  1. $ seq 5 | sed '3c\change this line'
  2. 1
  3. 2
  4. change this line
  5. 4
  6. 5
  8. # 用多行替换这一行
  9. $ sed 5 | sed '2,3c/change this line'
  10. 1
  11. change this line
  12. 4
  13. 5

转换命令 y

一对一字符替换：[address]y/inchars/outchars/，inchars 和 outchars 的长度要一样

  1. $ seq 3 | sed 'y/123/789/'
  2. 7
  3. 8
  4. 9
  6. # 默认就是全局替换，
  7. $ echo "This 1 is a test of 1 try." | sed 'y/123/456/'
  8. This 4 is a test of 4 try.

打印 p

p 打印文本行；

= 打印行号；

l 列出行（list），可以打印数据流中的文本和不可打印的 ASCII 字符。

p 常和 -n 一起使用：

  1. $ seq 5 | sed -n '/5/p'
  2. 5
  4. $ seq 5 | sed -n '2,3p'
  5. 2
  6. 3
  8. $ seq 5 | sed -n '/2/{
  9. # 打印原来行
  10. > p
  11. # 打印替换后的行
  12. > s/2/222/p
  13. > }'
  14. 2
  15. 222
  17. # 打印行号
  18. $ sed '=' data2.txt
  19. 1
  20. One line of test text.
  21. 2
  22. Two line of test text.
  23. 3
  24. Three line of test text.
  26. $ sed -n '/One/{
  27. > =
  28. > p
  29. > }' data2.txt
  30. 1
  31. One line of test text.
  33. # 测试 l 
  34. $ cat data2.txt
  35. One line of test text.
  36. Two line of test text.
  37. Three line of test text.
  38. Four    line    of    test    text.
  40. $ sed -n 'l' data2.txt
  41. One line of test text.$
  42. Two line of test text.$
  43. Three line of test text.$
  44. Four\tline\tof\ttest\ttext.$

写入文件 w

[address]w filename

  1. $ seq 10 | sed '1,3w test.txt'
  3. $ sed '/xiaocan/w xiaocan.txt' /etc/passwd

读取数据 r

[address]r filename

地址只能用单独一个行号或者文本模式地址。读取文件，插入到指定地址之后。

  1. $ cat data4.txt
  2. This is a test of the test script;
  3. This is the second test of the test script;
  5. $ seq 3 | sed '2r data4.txt'
  6. 1
  7. 2
  8. This is a test of the test script;
  9. This is the second test of the test script;
  10. 3
  12. # 在最后添加
  13. $ seq 3 | sed '$r data4.txt'
  16. $ sed '/LIST/{
  17. # 替换占位符
  18. > r data1.txt
  19. # 删除原来的占位符
  20. > d
  21. > }' out.txt

排除命令 !

使用 ! 用排除命令：

  1. # 不打印包含3 的行
  2. $ seq 3 | sed -n '/3/!p'
  3. 1
  4. 2

退出码 q

0 Successful completion.

1 Invalid command, invalid syntax, invalid regular expression

2 输入的文件不能打开（文件找不到或者没有权限）

4 An I/O error, or a serious processing error during runtime, GNU sed aborted immediately.

使用 Q 或者 q 指定退出码：

  1. $ echo | sed ’Q42’ ; echo $?
  2. 42
  4. # 输出直到遇到 foo 开头的行
  5. $ sed '/^foo/q42' input.txt > output.txt

模式替换 & \1

& 可以用来代表替换命令中匹配的模式。

  1. $ echo "The cat sleeps in his hat." | sed 's/.at/"&"/g'
  2. The "cat" sleeps in his "hat".

sed 用圆括号来定义替换模式中的子模式，然后可以用 \1 \2 等引用匹配的字模式。

  1. # 圆括号需要转义
  2. $ echo "The System Administrator manual" | sed 's/\(System\) Administrator/\1 User/'
  3. The System User manual
  5. $ echo "The furry hat is pretty" | sed 's/furry \(.at\)/\1/'
  6. The hat is pretty

命令分组

  1. # 对3行到第6行，执行命令/This/d
  2. $ sed '3,6 {/This/d}' pets.txt
  4. # 对3行到第6行，匹配/This/成功后，再匹配/fish/，成功后执行d命令
  5. $ sed '3,6 {/This/{/fish/d}}' pets.txt
  7. # 从第一行到最后一行，如果匹配到This，则删除之；如果前面有空格，则去除空格
  8. $ sed '1,${/This/d;s/^ *//g}' pets.txt

多行命令

N：将数据流中的下一行加进来创建一个多行组来处理。

D：删除多行组中的一行。

P：打印多行组中的一行。

next 命令 N

n 移动到下一行

  1. $ cat data1.txt
  2. This is the header line.
  4. This is a data line.
  6. This is the last line.
  8. # 删除第一行后的那行
  9. $ sed '/header/{n ; d}' data1.txt
  10. This is the header line.
  11. This is a data line.
  13. This is the last line.

N 将下一行与当前行合并处理

  1. $ cat data2.txt
  2. One line of test text.
  3. Two line of test text.
  4. Three line of test text.
  5. Four    line    of    test    text.
  7. # 合并两行
  8. $ sed '/Two/{N ; s/\n/ /}' data2.txt
  9. One line of test text.
  10. Two line of test text. Three line of test text.
  11. Four    line    of    test    text.
  14. # 如何将下面的 System Administraor 替换成 Desktop User 呢？
  15. # 注意第一行和第二行跨行了
  16. $ cat data3.txt
  17. On Tuesday, the Linux System
  18. Administrator's group meeting will be held.
  19. All System Administrators should attend.
  21. # 为啥两处的替换都没有生效呢？
  22. # 第一个是因为不匹配；第二个是因为读取第三行的时候，没有下一行了，所以sed命令就停止了
  23. $ sed 'N ; s/System Administrator/Desktop User/' data3.txt
  24. On Tuesday, the Linux System
  25. Administrator's group meeting will be held.
  26. All System Administrators should attend.
  28. # 中间添加一个通配符，可以匹配换行，第一处成功替换了
  29. $ sed 'N ; s/System.Administrator/Desktop User/' data3.txt
  30. On Tuesday, the Linux Desktop User's group meeting will be held.
  31. All System Administrators should attend.
  33. # 使用 $! 排除最后一行
  34. $ sed '$!N ; s/System\nAdministrator/Desktop\nUser/; s/System Administrator/Desktop User/' data3.txt
  35. On Tuesday, the Linux Desktop
  36. User's group meeting will be held.
  37. All Desktop Users should attend.
  39. # N 前面的替换匹配单行的，N 后面的替换匹配多行的，这样就可以了。
  40. $ sed 's/System Administrator/Desktop User/ ; N ; s/System\nAdministrator/Desktop\nUser/' data3.txt
  41. On Tuesday, the Linux Desktop
  42. User's group meeting will be held.
  43. All Desktop Users should attend.
  45. # 但是，如果文本是这样该任何替换呢？
  46. $ sed 's/System Administrator/Desktop User/ ; N ; s/System\nAdministrator/Desktop\nUser/' data3.txt
  47. All Desktop Users should attend.
  48. On Tuesday, the Linux System
  49. Administrator's group meeting will be held.

多行删除 D

D 删除模式空间中的第一行。

  1. $ cat data3.txt
  2. On Tuesday, the Linux System
  3. Administrator's group meeting will be held.
  4. All System Administrators should attend.
  6. # 删除了第一行
  7. $ sed 'N; /System\nAdministrator/D' data3.txt
  8. Administrator's group meeting will be held.
  9. All System Administrators should attend.

多行打印 P

p 打印模式空间中的第一行。

  1. $ sed -n 'N; /System\nAdministrator/P' data3.txt
  2. On Tuesday, the Linux System

Pattern space & hold space

pattern space 是 sed 用来处理文本的缓冲区。hold space 是另外一个区域，可以用来临时保存一些行。

h 将 pattern space 复制到 hold space

H 将 pattern space 附加到 hold space

g 将 hold space 复制到 pattrn space

G 将 hold space 附加到 pattern sapce

x 交换 pattern space 和 hold space 的内容

通常，在使用 h 和 H 命令之后，还要用 g 和 G 命令把内容拿回来。

反转文件中行的顺序

  1. $ cat data2.txt
  2. One line of test text.
  3. Two line of test text.
  4. Three line of test text.
  5. Four    line    of    test    text.
  7. $ sed -n '{1!G ; h ; $p}' data2.txt
  8. Four    line    of    test    text.
  9. Three line of test text.
  10. Two line of test text.
  11. One line of test text.
  13. # 或者
  14. $ sed '{1!G ; h ; $!d}' data2.txt
  15. Four line of test text.
  16. Three line of test text.
  17. Two line of test text.
  18. One line of test text.
  20. # tac 命令也可以反转行
  21. $ tac data2.txt
  22. Four    line    of    test    text.
  23. Three line of test text.
  24. Two line of test text.
  25. One line of test text.

image.png

改变流

分支 b

sed 编辑器提供了一种方法，可以基于地址、地址模式或地址区间排除一整块命令。

[address]b [label] address 参数指定哪些行会触发分支命令。label 指定了要跳转的位置，如果没有，会跳转到脚本的结尾。

  1. $ cat data2.txt
  2. One line of test text.
  3. Two line of test text.
  4. Three line of test text.
  5. Four line of test text.
  7. # 第2行和第三行不执行替换命令
  8. $ sed '{2,3b ; s/line/Line/ ; s/text/line/}' data2.txt
  9. One Line of test line.
  10. Two line of test text.
  11. Three line of test text.
  12. Four Line of test line.
  14. # 匹配行执行标签之后的命令，其它行执行所有的命令
  15. $ sed '{/One/b jump1; s/test text/no jump/
  16. > :jump1
  17. > s/line/Line/}' data2.txt
  18. One Line of test text.
  19. Two Line of no jump.
  20. Three Line of no jump.
  21. Four Line of no jump.

测试 t

t 测试命令会根据替换命令的结果跳转到某个标签。相当于 if-then 语句。

[address]t [label]

  1. $ cat data2.txt
  2. One line of test text.
  3. Two line of test text.
  4. Three line of test text.
  5. Four line of test text.
  7. # 不匹配的行执行 t 后面的替换命令
  8. $ sed '{
  9. > s/One/matched/
  10. > t
  11. > s/line/no match/
  12. > }' data2.txt
  13. matched line of test text.
  14. Two no match of test text.
  15. Three no match of test text.
  16. Four no match of test text.
  18. $ echo "This, is, a, test, to, remove, commas." | sed -n '{
  19. > :start
  20. > s/,//1p
  21. > t start
  22. > }'
  23. This is, a, test, to, remove, commas.
  24. This is a, test, to, remove, commas.
  25. This is a test, to, remove, commas.
  26. This is a test to, remove, commas.
  27. This is a test to remove, commas.
  28. This is a test to remove commas.

使用示例

加倍行间距

  1. $ cat data3.txt
  2. On Tuesday, the Linux System
  3. Administrator's group meeting will be held.
  4. All System Administrators should attend.
  6. # G 会将 hold space 内容附加到 pattern space 内容后面，默认是空行
  7. $ sed 'G' data3.txt
  8. On Tuesday, the Linux System
  10. Administrator's group meeting will be held.
  12. All System Administrators should attend.
  14. $
  15. # 最后一行不添加空白行 
  16. $ sed '$!G' data3.txt
  17. On Tuesday, the Linux System
  19. Administrator's group meeting will be held.
  21. All System Administrators should attend.
  22. $
  23. # 如果文件中存在空白行，先删除空白行，再添加
  24. $ sed '/^$/d ; $!G' data3.txt
  25. On Tuesday, the Linux System
  27. Administrator's group meeting will be held.
  29. All System Administrators should attend.

打印行号

  1. # 打印行号，但是不够美观
  2. $ sed '=' data2.txt
  3. 1
  4. One line of test text.
  5. 2
  6. Two line of test text.
  7. 3
  8. Three line of test text.
  10. # 删除行号和内容之间的换行符
  11. $ sed '=' data2.txt | sed 'N ; s/\n/ /'
  12. 1 One line of test text.
  13. 2 Two line of test text.
  14. 3 Three line of test text.

打印末尾行

  1. $ sed -n '$p' data2.txt
  2. Three line of test text.
  4. # 打印最后的5行，比较难理解，还是直接用 seq 10 | tail -5 吧
  5. $ seq 10 | sed '{
  6. > :start
  7. > $q ; N ; 6,$D
  8. > b start
  9. > }'
  10. 6
  11. 7
  12. 8
  13. 9
  14. 10

删除行

删除连续的空白行

  1. $ cat data5.txt
  2. This is line one.
  5. This is line two.
  7. This is line Three.
  11. This is line four.
  12. $
  13. $ sed '/./,/^$/!d' data5.txt
  14. This is line one.
  16. This is line two.
  18. This is line Three.
  20. This is line four.

区间 /./ 到 /^$/ ，开始地址匹配任何含有至少一个字符的行，结束地址匹配一个空行。

  1. # 打印非空行
  2. $ sed -n '/./p' data5.txt
  3. This is line one.
  4. This is line two.
  5. This is line Three.
  6. This is line four.

删除开头的空白行

  1. $ cat data6.txt
  3. This is line one.
  5. This is line two.
  7. This is line Three.
  9. This is line four.
  10. $
  11. # 从有内容的行到结尾的行不删除，其它都删除
  12. $ sed '/./,$!d' data6.txt
  13. This is line one.
  15. This is line two.
  17. This is line Three.
  19. This is line four.

删除结尾的空白行

  1. $ cat data6.txt
  2. This is line one.
  4. This is line two.
  6. This is line Three.
  8. This is line four.
  11. $
  12. $ sed '{
  13. > :start
  14. > /^\n*$/{$d ; N ; b start }
  15. > }' data6.txt
  16. This is line one.
  18. This is line two.
  20. This is line Three.
  22. This is line four.
  23. $

这个脚本里面还有花括号，这允许在整个脚本中将一些命令分组。该命令组会被应用在指定的地址模式上。

地址模式能够匹配含有0个或多个换行符的行。如果找到这样的行，而且还是最后一行，就删除它。如果不是最后一行，N 命令会将下一行附加到它后面，分支命令会跳到循环起始位置重新开始。

删除标签

  1. $ cat HTML.txt
  2. <b>This</b> is what <span style="text-decoration: underline;">I</span> meant. Understand?
  4. # 其中的'[^>]' 指定了除了>的字符重复0次或多次。
  5. $ sed 's/<[^>]*>//g' HTML.txt
  6. This is what I meant. Understand?

参考

GNU sed home page.

https://www.gnu.org/software/sed/manual/sed.pdf

http://sed.sourceforge.net/