1,GREP

grep 是按行匹配，主要司责查询相关的操作

  1.    grep [option] [pattern] [file1,file2,file3,,,,]
  2.    some command | grep [option] [pattern
  4.    选项[OPTION]   含义
  5.     -i    忽略大小写
  6.     -c    只输出匹配行的数量
  7.     -n    显示行号
  8.     -r    递归搜索   
  9.         实例，比如说要查找某个目录中的文件含有某个关键字的
  10.             grep -r keyword 目录
  11.     -E    支持扩展正则表达式
  12.     -w    匹配整个单词
  13.     -l    只列出匹配的文件名
  14.     -F    不支持正则，按字符串字面意思进行匹配

2,SED

  1. 对行进行处理
  2.     流编辑器，对文件逐行进行处理
  3.     两种形式
  4.         sed [option] "pattern command " file
  5.         come command | sed [option] "pattern command"
  7.         >> /dev/null 可以相当于是一个黑洞，在操作中遇到不想要的东西可以丢进去
  8.         &> /dev/null 
  9.     option 选项 
  10.         -n  只打印模式匹配的行
  11.         -f  加载存放动作的文件
  12.         -r  支持拓展正则
  13.         -i  直接修改文件
  15.     pattern 模式
  16.         如果添加就只针对添加的范围，不添加默认处理全局
  17.         匹配模式    含义
  18.         5           只处理5行
  19.         5,10        只处理第5行到第10行
  20.         /关键字/    处理含有关键字的数据那行
  21.         /^A/,/^B/   从A开头的一行到以B开头的一行
  23.     command 命令
  24.         查询
  25.             p     打印出来查询到的结果
  26.         新增
  27.             a      在匹配行后新增
  28.             i       在匹配行前新增
  29.             r       外部文件读入，行后新增
  30.             w       匹配行写入外部文件
  31.         删除    
  32.             d
  33.         修改
  34.             s/old/new   只修改匹配行中第一个old进行修改
  35.             s/old/new/g  将所有的old进行修改
  36.             s/old/new/ig  忽略大小写并对所有old进行修改
  38. sed -p 打印内容会打印两次，除了目标文件，也会将搜索结果一并打印出来

3,AWK

三剑客的核心，主要负责对列进行处理，可以当成是cut的进阶版，但是功能比cut强大的多。
awk甚至可以作为一门单独的语言来进行学习
文本处理工具，处理数据并生成结果报告。

  1.  两种形式
  2.         awk 'BEGIN{}pattern{commands}END{}' file
  3.         some command | grep [option][pattern]
  5.     格式            含义
  6.     BEGIN{}         处理数据之前执行的内容
  7.     pattern         匹配模式  进行设置的话，针对范围进行配置，
  8.                     不设置则针对全部的数据进行处理
  9.     {commands}      处理命令
  10.     END{}           处理数字之后执行的内容
  12.     内置变量        含义
  13.         $0          整行内容
  14.         $1-$n       当前行的第1-n个字段
  15.         NF          当前行字段数        number field
  16.         NR          当前行行号，从1开始  number row
  17.         FS          输入字段分隔符，默认为空格或者tab键 field separator
  18.         OFS         输出字段分隔符，默认为空格
  19.             output field separator
  20.         ors         输出行分隔符，默认为回车符
  21.             output row separator
  23.     printf格式符
  24.         %s      字符串
  25.         %d      数字
  26.         %f      浮点数
  27.     修饰符
  28.         +       右对齐
  29.         -       左对齐
  30. 默认为右对齐
  31.  awk 'BEGIN{FS=":"}{printf "%-20s%20s\n",$1,$NF  }' 
  32.  实例解释  
  33.     执行之前先对字段分割符进行设定为 ：
  34.     pattern设置为从第一列到最后一列
  35.     使用printf 进行字符串站位设置， 
  36.     20s代表站多少个字节位
  38. awk 'BEGIN{FS=":"}/mail/ {printf "%10s,%20s\n",$4,$5}' passwd 
  39. /mail/ 为pattern，可不写，不写默认处理全局，支持正则
  40.     可以写正则，可以写$0-4之类的取列，可以写运算 == 
  41. $ awk 'BEGIN{FS=":"}{print $(NF-1)}' passwd 
  42. 案例解释
  43.     执行之前先对字段分割符进行设定为 ：
  44.     pattern未进行设置，默认为全局
  45.     打印 每行数据的倒数第一列
  48. 脚本编写实例
  49.     BEGIN{
  50.     FS=":"
  51.     printf "%-20s%-20s\n" ,"Username","shell"
  52. }
  54. {
  55.     if($6 == "/bin" )
  56.     {
  57.         count ++ 
  58.         printf "%-20s%-20s\n",$1,$NF
  59.     }
  60. }
  64. END{
  65.     printf "%-20s%-20s\n","Total",count
  66. }
  68. 封装脚本
  69. 当awk命令过于长的时候,通常采取封装成脚本文件的方法来直接引用文件
  70. 执行文件内部的命令快的方法 具体封装方法如上
  71. 文件命名一般作为 命令的后缀名，awk，sed之类
  72. 语法中不在使用；进行分割，使用缩进进行分割
  73. '''
  75. 执行的时候
  76. awk -f 脚本名 待处理文件路径即可。