第七章 文本处理工具

1 文件内容查看命令

1.1 cat命令

  1. cat 查看文件
  2. 主要选项：
  3. -n 显示行号
  4. -b 只显示非空行的内容（显示行号）
  5. -E 在每行结束处显示$
  6. -s 压缩空行
  7. -T 把tab键字符显示为^I
  9. 主要案例：
  10. cat -n xujun.txt
  11. cat -b xujun.txt
  12. cat -E xujun.txt
  13. cat -T xujun.txt
  14. cat >>xujun.txt<<EOF  #cat的高级用法，配合重定向
  15. Xujun
  16. Woaini
  17. EOF
  18. 生产案例实践：# cat access.log error.log >web_$(date +%F).log #对多个日志文件进行合并

1.2 nl命令

  1. nl 显示行号，相当于cat -b
  2. [06:35:38 root@nginx-18 ~]# cat -b /etc/fstab
  4.      1  #
  5.      2  # /etc/fstab
  6.      3  # Created by anaconda on Thu Apr 28 21:03:43 2022
  7.      4  #
  8.      5  # Accessible filesystems, by reference, are maintained under '/dev/disk'
  9.      6  # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
  10.      7  #
  11.      8  UUID=285d0c54-2e7d-4ca9-90c7-93cba1c52553 /                       xfs     defaults        0 0
  12.      9  UUID=8abc267d-8303-452b-9856-f222473ff595 /boot                   xfs     defaults        0 0
  13.     10  UUID=51d60775-2f21-49c0-b842-4a2934c60b3b swap                    swap    defaults        0 0
  15. [06:35:46 root@nginx-18 ~]# nl /etc/fstab
  17.      1  #
  18.      2  # /etc/fstab
  19.      3  # Created by anaconda on Thu Apr 28 21:03:43 2022
  20.      4  #
  21.      5  # Accessible filesystems, by reference, are maintained under '/dev/disk'
  22.      6  # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
  23.      7  #
  24.      8  UUID=285d0c54-2e7d-4ca9-90c7-93cba1c52553 /                       xfs     defaults        0 0
  25.      9  UUID=8abc267d-8303-452b-9856-f222473ff595 /boot                   xfs     defaults        0 0
  26.     10  UUID=51d60775-2f21-49c0-b842-4a2934c60b3b swap                    swap    defaults        0 0

1.3 tac命令

  1. tac 逆向显示文本内容
  3. [07:35:06 root@nginx-18 /scripts]# cat 17.sh
  4. #!/bin/bash
  5. disk_dir=/tmp/disk
  6. day=$(date +%F)
  8. disk_space1=`df -h|awk '{print $5}'|sed 1d|cut -d "%" -f1|sed -n '1'p`
  9. disk_inode_space1=`df -i|awk '{print $5}'|sed 1d|cut -d "%" -f1|sed -n '1'p`
  11. if [ $disk_space1 -ge 85 ] || [ $disk_inode_space1 -ge 85 ];then
  12.         echo "磁盘空间或者磁盘Inode数量不够了，请登录机器，检查。。。"
  13.         exit 1
  14. fi
  15. [07:35:09 root@nginx-18 /scripts]# tac 17.sh
  16. fi
  17.         exit 1
  18.         echo "磁盘空间或者磁盘Inode数量不够了，请登录机器，检查。。。"
  19. if [ $disk_space1 -ge 85 ] || [ $disk_inode_space1 -ge 85 ];then
  21. disk_inode_space1=`df -i|awk '{print $5}'|sed 1d|cut -d "%" -f1|sed -n '1'p`
  22. disk_space1=`df -h|awk '{print $5}'|sed 1d|cut -d "%" -f1|sed -n '1'p`
  24. day=$(date +%F)
  25. disk_dir=/tmp/disk
  26. #!/bin/bash

2 分页查看文件内容

2.1 more命令

  1. more 按页查看，不能回退，灵活上不如less
  3. 主要案例：more xujun.txt

2.2 less命令

  1. less 查看当前文档内容，相比cat，less的使用方式更加的灵活多变，它可以实现上下翻页等功能
  3. 主要选项：-N 显示行号
  5. 主要案列：less xujun.txt

3 显示文本前或后行内容

3.1 head命令

  1. head 查看文件的前N行
  3. 主要选项：-n 后面接数字，表示查看前几行（也可以不加）
  5. 注意：head默认查看10行
  6. 主要案列：
  7. head -5 /etc/passwd
  8. head -10 /etc/passwd|tail -5 查看passwd文件中6到10行

3.2 tail命令

  1. tail 查看文件的后N行
  3. 主要选项：
  4. -n 后面接数字，表示查看前几行（也可以不加）
  5. -f（循环读取）监视filename文件的尾部内容（默认10行，相当于增加参数-n 10）,刷新显示在屏幕上，退出按下ctrl+c
  6. -F 类似-f选项，但是不会因文件不存在而报错，是一直等待文件生成。
  8. 注意：tail默认查看10行
  9. 主要案列：tail -5 /etc/passwd

4 cut命令

  1. cut 用来显示行中的指定部分，删除文件中指定字段
  3. 主要选项：
  4. -b 用字节来切割
  5. -c 用字符来切割
  6. -d 指定字段的分隔符，默认的字段分隔符为“TAB”
  7. -f 显示指定字段的内容（一般配合-d使用）
  8. --output-delimiter=“ ” 可以把指定的分隔符替换成其他字段，比如说空格符
  10. 主要案例：
  11. ifconfig eth0|grep "inet addr:"|cut -c 21-33
  12. 192.168.203.8

5 paste命令

  1. paste：把每个文件以列对列的方式，一列列地加以合并
  3. 主要选项：
  4. -d 指定分隔符
  5. -s 已行来指定文件
  7. 主要案例：
  8. paste -d ：xujun.txt xujun1.txt
  9. paste -sd '=\n' svn.txt

6 分析文本的工具

6.1 wc命令

  1. wc 统计文件的字数和行数，字节数 
  2. 主要选项：
  3. -l 显示总行数，常用于查看进程是否启动
  4. -L 显示最长一行的字符数
  5. -c 显示字节数
  6. -m 显示字符数
  7. -w 显示单词数
  9. 主要案例：
  10. wc -l xujun.txt
  12. 生产小案例
  13. [root@web01 ~]# ps -ef|grep "/sbin/nginx"|grep -v grep|wc -l
  14. 结果：1  #工作常用这个来查看进程是否存在，假如为1，就是存在的。要是0的话，就表示该进程不存在

6.2 sort命令

  1. sort：将文件的每一行作为一个单位，然后升序排列（默认按照accll码排序，升序，从小到大）
  3. 主要选项：
  4. -n 按照数值排序 sort -n xujun.txt
  5. -r 倒叙排列数值 sort -r xujun.txt
  6. -u 去除重复行
  7. -t 指定分隔符
  8. -k 指定区域
  9. -f 忽略字符大小写        
  11. 主要案例： 
  12. awk 'BEGIN{RS="[:/0-9 |\n]+"}{print $0}' passwd | sort | uniq -c | sort -rn 统计单词数
  13. head -10 /etc/passwd|tail -5|sort -t : -k 3 -n|cut -d : -f1  #以冒号分隔，取出/etc/passwd文件的第6至第10行，并将这些信息按第三个字段的数值大小进行排序，最后仅显示各自的第一个字段
  15. #生产小案例
  16. 根据ip地址来的第三列和第四列来排序：
  17. [root@db02 ~]# cat oldboy.txt |sort -t"." -k3 -k4
  18. 172.16.0.58
  19. 172.16.1.52
  20. 172.16.1.52
  21. 172.16.1.53
  22. 172.16.2.10
  23. 172.16.2.52
  24. 172.16.3.108
  25. 172.16.4.52
  26. 172.16.4.54
  27. 172.16.5.52
  28. 172.16.9.52
  29. 172.16.9.58

6.3 uniq命令

  1. uniq：用于去除或忽略文件中的重复行，一般和sort结合使用
  3. 主要选项：
  4. -c 在每列旁边显示该行重复出现的次数
  5. -d 仅显示重复的行
  6. -u 仅显示不曾重复的行
  8. 主要案例：
  9. sort file.txt | uniq -c  统计各行在文件中出现的次数
  10. awk 'BEGIN{RS="[ :/0-9\n]+"}{print $0}' xujun.txt|sort -n|uniq -c
  11. 3 adm
  12. 1 bash
  13. 5 bin
  14. 2 daemon
  15. 3 halt
  16. 2 lp
  17. 1 lpd
  18. 3 mail
  19. 6 nologin
  20. 3 root
  21. 12 sbin

7 文件之间的比较

7.1 diff命令

  1. diff：用于比较文件或目录的内容，特别是比较两个版本不同的文件以找到改动的地方
  3. 提示符：
  4. a add 增加     
  5. c chage 改变
  6. d delate 删除
  8. 主要选项：-u 显示行修改的上下文，默认为上下3行
  10. 主要案例：diff xujun.txt xujun1（比较两个文件内容有什么不同）
  11. [root@docker-11 ~]# diff a.txt b.txt
  12. 1,4c1,4
  13. < xujun 21
  14. < linux 23
  15. < linus 25
  16. < tom   21
  17. ---
  18. > xujun man
  19. > linux man
  20. > linus man
  21. > tom   woman
  22. 其中<打头的行属于文件a.txt，以>打头的行属于文件b.txt

7.2 vimdiff

  1. vimdiff：可视化的比较工具，和diff一样，就是多了vim可视化（最多可以比较4个文件） 
  3. 主要案列：vimdiff xujun.txt xujun1 xujun2 xujun3