处理海量日志对每一个运维来说都非常的头疼，日志分析我们首先需要把需要的数据从海量的日志中匹配出来，降低数据量，然后在分析这些日志。那么从海量的日志中把我们需要的日志找出来就需要我们写一个公式来匹配，那么如何才能写一个这样的公式呢？
这节课我就给大家说说正则表达式，看起来比较高大上，其实就是通过给定的符号生成一个字符串匹配的公式，通过该公式把需要的数据匹配出来。
比如

  • 匹配正确的IP地址
  • 匹配正确的e-mail地址

    正则表达式

    1、正则表达式介绍

    正则表达式（Regular Expression、regex或regexp，缩写为RE），也译为正规表示法、常规表示法，是一种字符模式，用于在查找过程中匹配指定的字符。
    许多程序设计语言都支持利用正则表达式进行字符串操作。例如，在Perl中就内建了一个功能强大的正则表达式引擎。
    正则表达式这个概念最初是由Unix中的工具软件（例如sed和grep）普及开的。
    支持正则表达式的程序如：locate |find| vim| grep| sed |awk
    正则表达式是一个三方产品，被常用计算机语言广泛使用，比如：shell、PHP、python、java、js等！
  1. [root@manage01 ~]# locate sko
  2. locate: 无法执行 stat () `/var/lib/mlocate/mlocate.db': 没有那个文件或目录
  4. 使用updatedb生成数据文件
  5. [root@manage01 ~]# updatedb

2、正则表达式特殊字符

定位符使用技巧：同时锚定开头和结尾，做精确匹配；单一锚定开头或结尾或者不锚定的，做模糊匹配。

定位符 说明
^ 锚定开头 ^a 以a开头 默认锚定一个字符
$ 锚定结尾 a$ 以a结尾 默认锚定一个字符

测试案例

  1. 1）精确匹配  以a开头c结尾的字符串
  2. [root@zutuanxue ~]# egrep "^ac$" file 
  3. ac
  5. 2）模糊匹配  以a开头
  6. [root@zutuanxue ~]# egrep "^a" file 
  7. ac
  8. ab
  9. abbc
  10. abcc
  11. aabbcc
  12. abbbc
  13. abbbbbc
  14. acc
  15. abc
  16. asb
  17. aa
  18. a_c
  19. aZc
  20. aAAAAc
  21. a c
  22. abababab
  23. a3c
  26. 3）模糊匹配 以c结尾的字符串
  27. [root@zutuanxue ~]# egrep "c$" file 
  28. ac
  29. abbc
  30. abcc
  31. aabbcc
  32. abbbc
  33. abbbbbc
  34. acc
  35. abc
  36. a_c
  37. aZc
  38. aAAAAc
  39. a c
  40. ccc
  41. a3c

匹配符:匹配字符串

匹配符 说明
. 匹配除回车以外的任意一个
字符
( ) 字符串分组
[ ] 定义字符类，匹配括号中的一个
字符
[ ^ ] 表示否定括号中出现字符类中的字符,取反
。
\ 转义字符
| 或

测试案例

  1. 1）精确匹配  以a开头c结尾  中间任意  长度为三个字节的字符串
  2. [root@zutuanxue ~]# egrep "^a.c$" file 
  3. acc
  4. abc
  5. a_c
  6. aZc
  7. a c
  8. a3c
  10. 2）模糊匹配  以cc结尾的字符串   因为$只能锚定单个字符，如果是一个字符串就需要用()来做定义
  11. [root@zutuanxue ~]# egrep "(cc)$" file 
  12. abcc
  13. aabbcc
  14. acc
  15. ccc
  17. 3）精确匹配  以a开头c结尾  中间是a-z,0-9  长度为三个字节的字符串
  18. [root@zutuanxue ~]# egrep "^a[a-z0-9]c$" file 
  19. acc
  20. abc
  21. a3c
  23. 4)精确匹配  以a开头c结尾  中间不包含a-z,0-9  长度为三个字节的字符串
  24. [root@zutuanxue ~]# egrep "^a[^a-z0-9]c$" file 
  25. a_c
  26. aZc
  27. a c
  29. 5）精确匹配  以e开头f结尾  中间是*号  长度为三个字节的字符串  e*f
  30. [root@zutuanxue ~]# egrep "^e\*f$" file 
  31. e*f
  33. 6）精确匹配 以a开头b或c结尾  中间是任意  长度为三个字节的字符串
  34. [root@zutuanxue ~]# egrep "^a.(b|c)$" file 
  35. acc
  36. abc
  37. asb
  38. a_c
  39. aZc
  40. a c
  41. a3c

限定符:对前面的字符或者(字符串)出现的次数做限定说明

限定符 说明
* 某个字符之后加星号表示该字符不出现或出现多次 a (ab)
？ 与星号相似，但略有变化，表示该字符出现一次或不出现
+ 与星号相似，表示其前面字符出现一次或多次，但必须出现一次
{n,m} 某个字符之后出现，表示该字符最少n次，最多m次
{m} 正好出现了m次

测试案例

  1. 1）精确匹配 以a开头 c结尾 中间是有b或者没有b 长度不限的字符串
  2. [root@zutuanxue ~]# egrep "^ab*c$" file 
  3. ac
  4. abbc
  5. abbbc
  6. abbbbbc
  7. abc
  9. 2）精确匹配 以a开头 c结尾 中间只出现一次b或者没有b的字符串
  10. [root@zutuanxue ~]# egrep "^ab?c$" file 
  11. ac
  12. abc
  14. 3）精确匹配 以a开头 c结尾 中间是有b且至少出现一次 长度不限的字符串
  15. [root@zutuanxue ~]# egrep "^ab+c$" file 
  16. abbc
  17. abbbc
  18. abbbbbc
  19. abc
  21. 4）精确匹配 以a开头 c结尾 中间是有b且至少出现两次最多出现四次 长度不限的字符串
  22. [root@zutuanxue ~]# egrep "^ab{2,4}c$" file 
  23. abbc
  24. abbbc
  26. 5）精确匹配 以a开头 c结尾 中间是有b且正好出现三次的字符串
  27. [root@zutuanxue ~]# egrep "^ab{3}c$" file 
  28. abbbc
  30. 6) 精确匹配 以a开头 c结尾 中间是有b且至少出现一次的字符串
  31. [root@zutuanxue ~]# egrep "^ab{1,}c$" file 
  32. abbc
  33. abbbc
  34. abbbbbc
  35. abc

3、正则表达式POSIX字符

posix字符一次只匹配一个范围中的一个字节

特殊字符 说明
[:alnum:] 匹配任意字母字符0-9 a-z A-Z
[:alpha:] 匹配任意字母，大写或小写
[:digit:] 数字 0-9
[:graph:] 非空字符( 非空格控制字符)
[:lower:] 小写字符a-z
[:upper:] 大写字符A-Z
[:cntrl:] 控制字符
[:print:] 非空字符( 包括空格)
[:punct:] 标点符号
[:blank:] 空格和TAB字符
[:xdigit:] 16 进制数字
[:space:] 所有空白字符( 新行、空格、制表符)

测试案例

  1. 注意[[ ]]  双中括号的意思:  第一个中括号是匹配符[] 匹配中括号中的任意一个字符，第二个[]是格式 如[:digit:]
  3. 1）精确匹配  以a开头c结尾  中间a-zA-Z0-9任意字符  长度为三个字节的字符串
  4. [root@zutuanxue ~]# egrep "^a[[:alnum:]]c$" file
  5. acc
  6. abc
  7. aZc
  8. a3c
  10. 2）精确匹配  以a开头c结尾  中间是a-zA-Z任意字符  长度为三个字节的字符串
  11. [root@zutuanxue ~]# egrep "^a[[:alpha:]]c$" file
  12. acc
  13. abc
  14. aZc
  17. 3）精确匹配  以a开头c结尾  中间是0-9任意字符  长度为三个字节的字符串
  18. [root@zutuanxue ~]# egrep "^a[[:digit:]]c$" file
  19. a3c
  21. 4）精确匹配  以a开头c结尾  中间是a-z任意字符  长度为三个字节的字符串
  22. [root@zutuanxue ~]# egrep "^a[[:lower:]]c$" file
  23. acc
  24. abc
  27. 4）精确匹配  以a开头c结尾  中间是A-Z任意字符  长度为三个字节的字符串
  28. [root@zutuanxue ~]# egrep "^a[[:upper:]]c$" file
  29. aZc
  31. 5）精确匹配  以a开头c结尾  中间是非空任意字符  长度为三个字节的字符串
  32. [root@zutuanxue ~]# egrep "^a[[:print:]]c$" file
  33. acc
  34. abc
  35. a_c
  36. aZc
  37. a c
  38. a3c
  40. 6）精确匹配  以a开头c结尾  中间是符号字符  长度为三个字节的字符串
  41. [root@zutuanxue ~]# egrep "^a[[:punct:]]c$" file
  42. a_c
  44. 7）精确匹配  以a开头c结尾  中间是空格或者TAB符字符  长度为三个字节的字符串
  45. [root@zutuanxue ~]# egrep "^a[[:blank:]]c$" file
  46. a c
  48. 类似
  49. [root@zutuanxue ~]# egrep "^a[[:space:]]c$" file
  50. a c
  52. 8）精确匹配  以a开头c结尾  中间是十六进制字符  长度为三个字节的字符串
  53. [root@zutuanxue ~]# egrep "^a[[:xdigit:]]c$" file
  54. acc
  55. abc
  56. a3c

说明：特殊字符和POSIX字符是两套字符，都可以完成需要的匹配，大家学习的时候最少要记住一套字符并熟练应用。

4、练习案例

  1. 1、IP匹配公式
  2. grep '^((25[0-5]|2[0-4][[:digit:]]|[01]?[[:digit:]][[:digit:]]?).){3}(25[0-5]|2[0-4][[:digit:]]|[01]?[[:digit:]][[:digit:]]?)$' --color ip_base
  3. 2、E-MAIL地址匹配公式