sed流式编辑器

  • sed是一个非交互的文本编辑器，实现的功能跟vim相同，主要是对文件内容进行输出、删除、替换、复制、剪切、导入、导出等功能
  • 命令格式1：前置命令 | sed [选项] ‘[指令]’ 文件名
  • 命令格式2：sed [选项] ‘[指令]’ 文件名
  • 常用选项：
    • -n #屏蔽默认输出，默认sed会将所有的输出结果输出到屏幕中，-n只把sed处理的行输出到屏幕
    • -i #直接修改文件内容，如果不加-i选项，并不会真正改变文件的内容
    • -r #使用扩展正则，若与其他选项连用应作为首个选项
  • 动作指令：
    • p #打印指定的行，如：2,4p 打印第234行，如：2p;4p 打印第2行与第4行
    • d #删除指定的行，如：2,4d 删除第234行
    • s #字符串替换，如：s/旧字串/新字串/
    • r #导入文件内容，如：4r 1.txt 在第4行下导入1.txt文件内容
    • w #导出文件内容，如：3w 1.txt 将文件第三行内容另存到2.txt文件中
  1. #打印文件第一行内容
  2. [root@localhost yunwei]# sed -n '1p' /etc/passwd
  3. root:x:0:0:root:/root:/bin/bash
  5. #打印文件第三行内容
  6. [root@localhost yunwei]# sed -n '3p' /etc/passwd
  7. daemon:x:2:2:daemon:/sbin:/sbin/nologin
  9. #打印文件第3行到6行
  10. [root@localhost yunwei]# sed -n '3,6p' /etc/passwd
  11. daemon:x:2:2:daemon:/sbin:/sbin/nologin
  12. adm:x:3:4:adm:/var/adm:/sbin/nologin
  13. lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
  14. sync:x:5:0:sync:/sbin:/bin/sync
  16. #打印文件第3行到6行
  17. [root@localhost yunwei]# head -6 /etc/passwd | tail -4
  18. daemon:x:2:2:daemon:/sbin:/sbin/nologin
  19. adm:x:3:4:adm:/var/adm:/sbin/nologin
  20. lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
  21. sync:x:5:0:sync:/sbin:/bin/sync
  23. #利用正则表达式匹配以root开头的行（正则表达式要放在//内）
  24. [root@localhost yunwei]# sed -n '/^root/p' /etc/passwd
  26. #匹配以bash结尾的行
  27. [root@localhost yunwei]# sed -n '/bash$/p' /etc/passwd
  28. [root@localhost yunwei]# sed -n '/nologin$/p' /etc/passwd
  30. #打印文件最后一行，打印行号
  31. [root@localhost yunwei]# sed -n '$=' /etc/passwd
  32. 70
  33. [root@localhost yunwei]# sed -n '/^root/=' /etc/passwd
  34. 1
  36. #拷贝文件练习
  37. [root@localhost opt]# cp /etc/passwd /opt/test
  39. #删除文件2到4行
  40. [root@localhost opt]# sed '2,4d' test | wc -l
  41. 67
  43. #使用i选项直接修改源文件
  44. [root@localhost opt]# sed -i '2,4d' test 
  46. #使用分号分隔
  47. [root@localhost opt]# sed -i '10d;12d' test
  48. [root@localhost opt]# sed -n '$=' test
  49. 62
  51. #制作素材
  52. [root@localhost opt]# vim 1.txt 
  53. aaaabbbbb
  54. bbbbbaaaa
  55. cccccaaaaa
  56. dddddaaaa
  59. [root@localhost opt]# sed -n '/aaaa/p' 1.txt
  60. aaaabbbbb
  61. bbbbbaaaa
  62. cccccaaaaa
  63. dddddaaaa
  65. #取反删除
  66. [root@localhost opt]# sed -i '/cccc/!d' 1.txt 
  67. [root@localhost opt]# cat 1.txt 
  68. ccccaaaa
  70. [root@localhost opt]# vim 1.txt 
  71. aaaabbbb
  72. ddddaaaa
  73. zzzzaaaa
  74. ccccaaaa
  76. #删除以ccc开头的行
  77. [root@localhost opt]# sed -i '/^cccc/d' 1.txt
  78. [root@localhost opt]# cat 1.txt 
  79. aaaabbbb
  80. ddddaaaa
  81. zzzzaaaa
  83. #删除空行
  84. [root@localhost opt]# sed -i '/^$/d' 1.txt 
  85. [root@localhost opt]# cat 1.txt 
  87. #准备素材
  88. [root@localhost opt]# vim xx.txt
  89. 2021 2020 2019 2018
  90. 2021 2021 2020 2019
  91. 2021 2022 2021 2020
  93. #替换文件每一行匹配到的第一个字串
  94. [root@localhost opt]# sed 's/2021/xxxx/' xx.txt 
  95. xxxx 2020 2019 2018
  96. xxxx 2021 2020 2019
  97. xxxx 2022 2021 2020
  99. #替换文件每一行匹配到的第二个字串
  100. [root@localhost opt]# sed 's/2021/xxxx/2' xx.txt 
  101. 2021 2020 2019 2018
  102. 2021 xxxx 2020 2019
  103. 2021 2022 xxxx 2020
  105. #替换文件每一行匹配到的所有指定字串
  106. [root@localhost opt]# sed 's/2021/xxxx/g' xx.txt 
  107. xxxx 2020 2019 2018
  108. xxxx xxxx 2020 2019
  109. xxxx 2022 xxxx 2020
  111. #将匹配到的第一个字串替换成空
  112. [root@localhost opt]# sed 's/2021//' xx.txt 
  113.  2020 2019 2018
  114.  2021 2020 2019
  115.  2022 2021 2020
  117.  #将匹配到的第=二字串替换成空
  118. [root@localhost opt]# sed 's/2021//2' xx.txt 
  119. 2021 2020 2019 2018
  120. 2021  2020 2019
  121. 2021 2022  2020
  123. #替换时屏蔽默认输出
  124. [root@localhost opt]# sed -n 's/root/xxoo/g' test
  125. [root@localhost opt]# sed -n 's/root/xxoo/gp' test
  126. xxoo:x:0:0:xxoo:/xxoo:/bin/bash
  127. operator:x:11:0:operator:/xxoo:/sbin/nologin
  129. #替换符可以使用任意的特殊符号
  130. [root@localhost opt]# sed  's#2021#xxoo#' xx.txt 
  131. xxoo 2020 2019 2018
  132. xxoo 2021 2020 2019
  133. xxoo 2022 2021 2020
  134. [root@localhost opt]# sed  's,2021,xxoo,' xx.txt 
  135. xxoo 2020 2019 2018
  136. xxoo 2021 2020 2019
  137. xxoo 2022 2021 2020
  138. [root@localhost opt]# sed  's!2021!xxoo!' xx.txt 
  139. xxoo 2020 2019 2018
  140. xxoo 2021 2020 2019
  141. xxoo 2022 2021 2020
  142. [root@localhost opt]# sed  's;2021;xxoo;' xx.txt 
  143. xxoo 2020 2019 2018
  144. xxoo 2021 2020 2019
  145. xxoo 2022 2021 2020
  146. [root@localhost opt]# sed  's*2021*xxoo*' xx.txt 
  147. xxoo 2020 2019 2018
  148. xxoo 2021 2020 2019
  149. xxoo 2022 2021 2020
  150. [root@localhost opt]# sed  's:2021:xxoo:' xx.txt 
  151. xxoo 2020 2019 2018
  152. xxoo 2021 2020 2019
  153. xxoo 2022 2021 2020
  155. #将文件中/bin/bash替换成/bin/sh
  156. [root@localhost opt]# sed -n 's/\/bin\/bash/\/bin\/sh/gp' test
  157. [root@localhost opt]# sed -n 's,/bin/bash,/bin/sh,gp' test
  159. #使用sed给文件1-7行批量添加注释
  160. [root@localhost opt]# sed -n '1,7s/^/#/p' test 
  162. #使用sed给文件1-7行批量添加注释，直接修改源文件
  163. [root@localhost opt]# sed -i '1,7s/^/#/p' test 
  165. #批量去除1-7行的注释
  166. [root@localhost opt]# sed -n '1,7s/^#//p' test
  168. #批量去除1-7行的注释，直接修改源文件
  169. [root@localhost opt]# sed -i '1,7s/^#//p' test
  171. #将文件中所有的数字替换成空
  172. [root@localhost opt]# sed -n 's/[0-9]//gp' test
  174. #将文件中所有的英文字母替换成空
  175. [root@localhost opt]# sed -n 's/[a-Z]//gp' test
  177. #准备素材
  178. [root@localhost opt]# vim a.txt
  179. xxxxxxx
  180. yyyyyyy
  181. zzzzzz
  183. #将a.txt文件内容导入到test文件中，默认读一行导一遍
  184. [root@localhost opt]# sed 'r/opt/a.txt' test
  186. #指定导入的行，导入到test文件第一行下边
  187. [root@localhost opt]# sed '1r/opt/a.txt' test
  188. root:x:0:0:root:/root:/bin/bash
  189. xxxxxxx
  190. yyyyyyy
  191. zzzzzz
  193. #指定连续导入的行
  194. [root@localhost opt]# sed '1,3r/opt/a.txt' test
  195. root:x:0:0:root:/root:/bin/bash
  196. xxxxxxx
  197. yyyyyyy
  198. zzzzzz
  200. root:x:0:0:root:/root:/bin/bash
  201. xxxxxxx
  202. yyyyyyy
  203. zzzzzz
  205. root:x:0:0:root:/root:/bin/bash
  206. xxxxxxx
  207. yyyyyyy
  208. zzzzzz
  210. #将a.txt文件第一行内容导出到b.txt文件中
  211. [root@localhost opt]# sed '1w b.txt' a.txt
  212. [root@localhost opt]# cat b.txt 
  213. xxxxxxx

awk编程语言

  • awk编程语言/数据处理引擎
  • 创造者：Aho Winberger Kernighan
  • 基于模式匹配检查输入文本，逐行处理并输出，获取指定的数据
  • awk过滤数据时支持仅打印某一列，如：第2列、第4列…
  • awk命令格式1：awk [选项] ‘条件1{指令} 条件2{指令}’ 文件名
  • awk命令格式2：前置命令 | awk [选项] ‘条件{指令}’
  • 常用指令：print 是最常用的打印指令
  • 常用选项：-F #指定分隔符，如不指定分隔符，默认以空格或tab键为默认分隔符，可通过[]集合匹配多种单个字符
  • awk内置变量：$1第一列，$2第二列，$3第三列，依次类推，NR文件当前行号，NF文件当前列数
  • 命令格式1示例：
  1. #准备素材
  2. [root@localhost opt]# vim test.txt
  3. hello the woman
  4. welcome to china
  6. #打印文件的第一列
  7. [root@localhost opt]# awk '{print $1}' test.txt 
  8. hello
  9. welcome
  11. #打印文件第一列和第三列
  12. [root@localhost opt]# awk '{print $1,$3}' test.txt 
  13. hello woman
  14. welcome china
  16. #打印passwd文件第一列（默认没有空格与tab键作为分隔符，打印文件所有内容）
  17. [root@localhost opt]# awk '{print $1}' /etc/passwd
  19. #手动指定以：作为分隔，打印文件第一列
  20. [root@localhost opt]# awk -F: '{print $1}' /etc/passwd
  22. #打印文件第一列与第七列
  23. [root@localhost opt]# awk -F: '{print $1,$7}' /etc/passwd
  25. #通过[]集合匹配多种单个字符作为分隔符，打印用户名与解释器字段
  26. [root@localhost opt]# awk -F[:/] '{print $1,$10}' /etc/passwd
  28. #通过正则表达式过滤以root开头的行
  29. [root@localhost opt]# awk -F: '/^root/{print}' /etc/passwd
  30. root:x:0:0:root:/root:/bin/bash
  32. #通过正则表达式过滤以root开头的行，打印第1列与第7列
  33. [root@localhost opt]# awk -F: '/^root/ {print $1,$7}' /etc/passwd
  34. root /bin/bash
  36. #打印文件每一行与每一行的列数
  37. [root@localhost opt]# awk -F: '{print NR,NF}' /etc/passwd
  39. #打印文件每一行与每一行的列数，并打印最后一列
  40. [root@localhost opt]# awk -F: '{print NR,NF,$NF}' /etc/passwd
  42. #通过常量打印执行的列
  43. [root@localhost opt]# awk -F: '{print $1,"用户的解释器为：",$7}' /etc/passwd
  44. root 用户的解释器为： /bin/bash
  46. #匹配第一列包含root的行
  47. [root@localhost opt]# awk -F: '$1~/root/' /etc/passwd
  48. root:x:0:0:root:/root:/bin/bash
  50. #排除第7列noloogin的行，打印第1列与第7列
  51. [root@localhost opt]# awk -F: '$7!~/nologin/{print $1,$7}' /etc/passwd
  53. #利用扩展正则过滤，以root或者adm开头的行，打印第1列与第7列
  54. [root@localhost opt]# awk -F: '/^(root|adm)/{print $1,$7}' /etc/passwd
  55. root /bin/bash
  56. adm /sbin/nologin

awk使用数值/字符串比较设置条件

  • 等于： ==
  • 不等于： !=
  • 大于： >
  • 大于等于： >=
  • 小于： <
  • 小于等于：<=
  1. #打印行号等于3
  2. [root@localhost opt]# awk 'NR==3{print}' /etc/passwd
  3. daemon:x:2:2:daemon:/sbin:/sbin/nologin
  5. #使用sed更加方便打印某一行
  6. [root@localhost opt]# sed -n '3p' /etc/passwd
  7. daemon:x:2:2:daemon:/sbin:/sbin/nologin
  9. #打印文件中第3列大于等于1000，打印第1列，第3列，第7列
  10. [root@localhost opt]# awk -F: '$3>=1000{print $1,$3,$7}' /etc/passwd
  11. lisi 1000 /bin/bash
  13. #打印文件中第三列小于1000，打印第1列，第3列，第7列
  14. [root@localhost opt]# awk -F: '$3<1000{print $1,$3,$7}' /etc/passwd
  15. root 0 /bin/bash
  17. #打印文件中第3列大于500并且小于1000，打印第1列，第3列，第7列
  18. [root@localhost opt]# awk -F: '$3>500 && $3<1000 {print $1,$3,$7}' /etc/passwd
  19. polkitd 999 /sbin/nologin
  21. #打印第一列不等于root的行
  22. [root@localhost opt]# awk -F: '$1!="root"{print}' /etc/passwd

awk过滤时机：awk ‘BEGIN{指令} {指令} END{指令}’ 文件名

  • BEGIN{指令} #读取文件内容之前执行指令，指令执行一次，行前处理
  • {指令} #读取文件过程中执行，指令逐行执行，读一行，执行一次
  • END{指令} #读取文件内容结束后执行指令，指令执行一次，行后处理
  1. #BEGIN{指令}行前处理
  2. [root@localhost opt]# awk 'BEGIN{print "正在处理中"}'
  3. 正在处理中
  5. #定义变量
  6. [root@localhost opt]# awk "BEGIN{x=10;print x}"
  7. 10
  9. #四则运算
  10. [root@localhost opt]# awk "BEGIN{x=10;print x+5}"
  11. 15
  12. [root@localhost opt]# awk "BEGIN{x=10;print x+5}"
  13. 15
  14. [root@localhost opt]# awk "BEGIN{x=10;print x-5}"
  15. 5
  16. [root@localhost opt]# awk "BEGIN{x=10;print x*5}"
  17. 50
  18. [root@localhost opt]# awk "BEGIN{x=10;print x/5}"
  19. 2
  21. [root@localhost opt]# awk "BEGIN{print 10+10}"
  22. 20
  23. [root@localhost opt]# awk "BEGIN{print 10-5}"
  24. 5
  25. [root@localhost opt]# awk "BEGIN{print 10*2}"
  26. 20
  27. [root@localhost opt]# awk "BEGIN{print 10/3}"
  28. 3.33333
  29. [root@localhost opt]# awk "BEGIN{print 10%3}"
  30. 1
  32. #通过awk统计系统里使用bash解释器的用户有什么个？
  33. [root@localhost opt]# awk 'BEGIN{x=0}/bash$/{x++}END{print x}' /etc/passwd
  34. 27
  35. [root@localhost opt]# awk '/bash$/{x++}END{print x}' /etc/passwd
  36. 27

awk分支结构

  • if单分支格式：if(条件){指令}
  • if双分支格式：if(条件){指令}else{指令}
  1. #if单分支统计passwd文件中UID大于或等于1000的用户个数
  2. awk  -F: '{if($3>=1000){x++}} END{print x}' /etc/passwd
  3. if($3>=1000){x++}
  4. [root@localhost ~]# awk -F: '{if($3>=1000){x++}}END{print x}' /etc/passwd
  6. #if双分支统计passwd文件中UID大于等于1000的用户，和小于1000的用户个数
  7. [root@localhost ~]# awk -F: '{if($3>=1000){i++} else{x++}} END{print i,x}' /etc/passwd

awk数组

  • 定义数组格式1：数组名[下标]=值
  • 定义数组格式2：数组名[下标]
  • 数组的用法：for(变量名 in 数组名) {print 数组名[变量]}
#awk定义数组方式
[root@localhost ~]# awk 'BEGIN{x[0]=10;x[1]=20;print x[0],x[1]}'
10 20

#awk定义数组方式
[root@localhost ~]# awk 'BEGIN{x[0]++;print x[0]}'
1

awk循环结构

  • 命令格式：for(变量名 in 数组名){print 数组名[变量]}
[root@localhost ~]# awk 'BEGIN{a[0]=00;a[1]=11;a[2]=22;for(i in a){print i,a[i]}}'
0 0
1 11
2 22
  • awk命令格式2：前置命令 | awk [选项] ‘条件{指令}’
#通过awk打印剩余内存
[root@localhost opt]# free -h | grep Mem | awk '{print $4}'
134M
[root@localhost opt]# free -h | awk '/Mem/{print $4}'
134M

#用awk写一个监控脚本，监控网卡的进出口流量
[root@localhost ~]# vim while_liuliang.sh 
#!/bin/bash
while :
do
        clear
        ifconfig ens32 | awk '/inet /{print "IP:",$2}'
        ifconfig ens32 | awk '/RX p/{print "入口流量：",$5}'
        ifconfig ens32 | awk '/TX p/{print "出口流量：",$5}'
        sleep 0.1
done

#使用awk过滤系统根分区使用情况
[root@localhost ~]# df -h | grep '/$' | awk '{print $4}' | awk -FG '{print $1}'
51

#过滤根分区剩余空间与物理内存空间
[root@localhost ~]# vim df_free.sh
#!/bin/bash
df -h | grep '/$' | awk '{print "根分区剩余空间：",$4}'
free -h | grep Mem | awk '{print "物理内存剩余空间：", $4}'

#通过awk统计用户登录系统的次数
[root@localhost ~]# who | awk '{ip[$1]++}END{for(i in ip)print i,ip[i]}'
root 1