数据预处理中会经常遇到很多文本转换，清理的情况，有的时候数据可能位于服务器上，上传下载代码非常繁琐，与其写python处理，还不如用shell 一句话解决。
常更常新～～～～

grep

Linux grep 命令
语法:

  1. grep [-abcEFGhHilLnqrsvVwxy][-A<显示行数>][-B<显示列数>][-C<显示列数>][-d<进行动作>][-e<范本样式>][-f<范本文件>][--help][范本样式][文件或目录...]

参数：

  2. -a 或 --text : 不要忽略二进制的数据。
  3. -A<显示行数> 或 --after-context=<显示行数> : 除了显示符合范本样式的那一列之外，并显示该行之后的内容。
  4. -b 或 --byte-offset : 在显示符合样式的那一行之前，标示出该行第一个字符的编号。
  5. -B<显示行数> 或 --before-context=<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前的内容。
  6. -c 或 --count : 计算符合样式的列数。
  7. -C<显示行数> 或 --context=<显示行数>或-<显示行数> : 除了显示符合样式的那一行之外，并显示该行之前后的内容。
  8. -d <动作> 或 --directories=<动作> : 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep指令将回报信息并停止动作。
  9. -e<范本样式> 或 --regexp=<范本样式> : 指定字符串做为查找文件内容的样式。
  10. -E 或 --extended-regexp : 将样式为延伸的正则表达式来使用。
  11. -f<规则文件> 或 --file=<规则文件> : 指定规则文件，其内容含有一个或多个规则样式，让grep查找符合规则条件的文件内容，格式为每行一个规则样式。
  12. -F 或 --fixed-regexp : 将样式视为固定字符串的列表。
  13. -G 或 --basic-regexp : 将样式视为普通的表示法来使用。
  14. -h 或 --no-filename : 在显示符合样式的那一行之前，不标示该行所属的文件名称。
  15. -H 或 --with-filename : 在显示符合样式的那一行之前，表示该行所属的文件名称。
  16. -i 或 --ignore-case : 忽略字符大小写的差别。
  17. -l 或 --file-with-matches : 列出文件内容符合指定的样式的文件名称。
  18. -L 或 --files-without-match : 列出文件内容不符合指定的样式的文件名称。
  19. -n 或 --line-number : 在显示符合样式的那一行之前，标示出该行的列数编号。
  20. -o 或 --only-matching : 只显示匹配PATTERN 部分。
  21. -q 或 --quiet或--silent : 不显示任何信息。
  22. -r 或 --recursive : 此参数的效果和指定"-d recurse"参数相同。
  23. -s 或 --no-messages : 不显示错误信息。
  24. -v 或 --invert-match : 显示不包含匹配文本的所有行。
  25. -V 或 --version : 显示版本信息。
  26. -w 或 --word-regexp : 只显示全字符合的列。
  27. -x --line-regexp : 只显示全列符合的列。
  28. -y : 此参数的效果和指定"-i"参数相同。

sed

Linux sed 命令
语法

  1. sed [-hnV][-e<script>][-f<script文件>][文本文件]

参数说明：

  1. 参数说明：
  2. -e<script>或--expression=<script> 以选项中指定的script来处理输入的文本文件。
  3. -f<script文件>或--file=<script文件> 以选项中指定的script文件来处理输入的文本文件。
  4. -h或--help 显示帮助。
  5. -n或--quiet或--silent 仅显示script处理后的结果。
  6. -V或--version 显示版本信息。
  7. 动作说明：
  8. a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
  9. c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
  10. d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
  11. i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
  12. p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
  13. s ：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！

awk

  1. awk [选项] '匹配规则和处理规则 ' [处理文本路径]

简单用法
语法说明

  • {} ：循环（每次只处理一行数据）
  • $0： 保存当前行的内容 ，$1,$2,$3表示第一列，第二列，第三列
    NR： 记录号（行号），每处理完一条记录，NR值加1
    NF： 保存记录的字段数（总共保存的列数），$1,$2…$100
    FS： 输入字段分隔符，默认空格
    OFS：输出字段分隔符
  • //：使用的匹配规则
  • -F：指定分隔符，默认分隔符石空格，紧跟，无需引号
  • 默认输出分隔符，也是空格
  • OFS使用内置变量作为输出分隔符
    1. [root@node1 awkdir]# cat awktxt
    2. zaishu    mysql    qq
    3. xasdf    xxx    sdfsadf
    4. dd    xx
    5. [root@node1 awkdir]# awk '{print $1,$2}' awktxt
    6. zaishu mysql
    7. xasdf xxx
    8. dd xx
    9. [root@node1 awkdir]# awk -v OFS='+++' '{print $1,$2}' awktxt
    10. zaishu+++mysql
    11. xasdf+++xxx
    12. dd+++xx
    1. # 分隔符 用-F指定分隔符
    2. awk -F: '{print $1}' /etc/passwd  # 以:分割，打印第一列
    3. awk -F: '/root/' /etc/passwd      #把/etc/passwd中的包含root的行打印出来
    4. awk -F: '{print $(NF-2)}' /etc/passwd  #要求输出倒数第3列
    5. awk -F: '{printf "%-15s %s\n",$1,$NF}' /etc/passwd   #格式化输出第一列和最后一列
    6. awk -F '{print $3,$3+1}' /etc/passwd   # 运算
    7. awk -F: '{if( NR % 2 ){print NR,$0}}' /etc/passwd  # 打印奇数行
    8. awk -F: '/bash/{if(NR%2==0){print NR,$0}}' /etc/passwd #打印出偶数行中的包含bash的行

    常用案例

    去掉空格

    1. cat input.txt | sed 's/ //g' >output.txt #g 是替换每一个，不加g是替换一次

    字母大小写转换

    1. # 小写转大写
    2. cat input.txt | tr '[a-z]' '[A-Z]' >output.txt
    3. # 大写转小写
    4. cat input.txt | tr '[A-Z]' '[a-z]' >output.txt

    查找

    查找包含数字，输出整行

    1. grep -E [0-9]+ -a input.txt >output.txt

    查找包含字母，输出整行

    1. # 包含小写字母的行，全部输出
    2. grep -E [a-z]+ -a input.txt >output.txt
    3. # 包含大写字母的行，全部输出
    4. grep -E [A-Z]+ -a input.txt >output.txt
    5. # 包含英文字母的行，全部输出
    6. grep -E [A-Za-z]+ -a ./train.txt >./train_en_word.txt
    1. $ echo "我 也 要 追 她 然后 光明正大 的 和 他 竞争 我 like他"|grep -E [a-z]+ 
    2. 我 也 要 追 她 然后 光明正大 的 和 他 竞争 我 like他

    查找不包含数字，字母的行，输出整行

    1. grep -vE [a-z]+ -a input.txt >output.txt

    只输出符合 RE 的字符串

    1. grep -vE [a-z]+ -a input.txt >output.txt
    1. $ echo "我 也 要 追 她 然后 光明正大 的 和 他 竞争 我 like他"|grep -oE [a-z]+
    2. like

    删除

    ```shell

    删除2-5行，包含2，5行内容

    $ nl /etc/passwd | sed ‘2,5d’ 1 root:x:0:0:root:/root:/bin/bash 6 sync:x:5:0:sync:/sbin:/bin/sync 7 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown …..(后面省略)…..

只要删除第 2 行

$ nl /etc/passwd | sed ‘2d’

要删除第 3 到最后一行

$ nl /etc/passwd | sed ‘3,$d’ ```