log_fomat日志格式和命令

  1.  log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
  2.                       '$status $body_bytes_sent "$http_referer" '
  3.                       '"$http_user_agent" "$http_x_forwarded_for"';
  5. log_format   main        #定义日志，此日志名字为main
  6. $remote_addr            #远程地址
  7. $remote_user             #远程用户
  8. [$time_local]            #本地时间
  9. $request                #请求，举例请求的URL和http协议
  10. $status                    #状态，记录请求状态
  11. $body_bytes_sent        #发送给客户端的字节数，不包括响应头的大小
  12. $http_referer            #记录从那个页面链接访问过来（超链接）
  13. $http_user_agent        #记录客户端浏览器相关信息
  14. $http_x_forwarded_for    #记录请求端真实 IP

error日志案例
  1. 2021/12/03 17:50:35 [error] 13574#13574: *61 open() "/jiangzilong/isssa.html" failed (2: No such file or directory), client: 221.176.33.202, server: , request: "GET /isssa.html HTTP/1.1", host: "8.134.32.139:81"
  3. 2021/12/03 17:50:35        #时间
  4. *61 open() "/jiangzilong/isssa.html"         #请求页面
  5. failed (2: No such file or directory)        #失败，未找到文件
  6. client: 221.176.33.202                        #客户端
  7. server:                                     #服务端
  8. request: "GET /isssa.html HTTP/1.1"            #请求头
  9. host: "8.134.32.139:81"                        #主机

日志缓存
  1. 大量访问到来是，对于每一条日志记录，都将是先打开文件，再写入日志，然后关闭，占用了系统的io与业务无关。
  2. 可以使用open_log_file_cache来设置
  4. 磁盘io：计算机用语，也写作I/O，指输入/输出(Input/Output)。
  6. syntax(语法):open_log_file_cache max=1000 inactive=20s min_uses=3 valid=1m;
  8. max 1000（max 最大值） 指的是日志文件的FD，最大的缓存数量为1000.
  10. min_uses（min 分钟 uses 使用） 3 20秒内小于3次访问的FD，就给你清掉，结合inactive 20s的时间。
  12. valid 1m（valid 有效的） 检查周期为1分钟
  13. 总结：缓存最多1000个，到了极限，每分钟开始清除掉 20秒内小于3次的文件FD.
  15. 官方不推荐使用

日志轮转/切割
  1. yum安装nginx，会默认安装日志轮转
  3. #USR1亦通常被用来告知应用程序重载配置文件；例如，向Apache HTTP服务器发送一个USR1信号将导致以下步骤的发生：停止接受新的连接，等待当前连接停止，重新载入配置文件，重新打开日志文件，重启服务器，从而实现相对平滑的不关机的更改。
  5. 主配置文件
  6. vim /etc/logrotate.d/nginx
  7. /var/log/nginx/*.log {
  8.         daily            #天
  9.         missingok        #丢失不提示
  10.         rotate 52        #52份
  11.         compress        #压缩
  12.         delaycompress    #延迟压缩
  13.         notifempty        #空文件的话，不论储
  14.         create 640 nginx adm    #切割后创建新文件，权限640，nginx属主adm数组
  15.         sharedscripts        #所有文件归档完成后执行脚本
  16.         postrotate            #日志切割后执行的脚本命令
  17.                 if [ -f /var/run/nginx.pid ]; then
  18.                         kill -USR1 `cat /var/run/nginx.pid`
  19.                 fi
  20.         endscript            #脚本停止运行
  21. }

日志分析
  1. PV（Page View）访问量, 即页面浏览量或点击量，衡量网站用户访问的网页数量；在一定统计周期内用户每打开或刷新一个页面就记录1次，多次打开或刷新同一页面则浏览量累计。
  3. UV（Unique Visitor）独立访客，统计1天内访问某站点的用户数(以cookie为依据);访问网站的一台电脑客户端为一个访客。可以理解成访问某网站的电脑的数量。网站判断来访电脑的身份是通过来访电脑的cookies实现的。
  5. 统计2021年12月7日一天内访问最多的10个ip（iptop10）
  6. #grep '07/Dec/2021' access.log | awk '{ips[$1]++}END{for(i in ips){print i,ips[i]}}' | sort -k2 -rn
  7. sort  -k2         k是指第几列
  8. -n    用于对数值的大小进行排序
  9. -r    以倒序(相反的顺序)输出排序结果
  10. 再加判断是否超过10个
  11. #grep '07/Dec/2021' access.log | awk '{ips[$1]++}  END{for(i in ips){if(ips[i]>10){print i,ips[i]}   }}'

URL访问前10
  1. 199.19.225.163 - - [10/Dec/2021:03:14:52 +0800] "GET login.cgi HTTP/1.1" 400 157 "-" "-" "-"
  3. cat access.log | awk '{url[$7]++}END{for(i in url ){print url[i],i }  }' | sort -k1 -rn | head -10

访问日志各个网页的总大小与次数
  1. cat access.log |awk '{urls[$7]++;size[$7]+=$10} END{for (i in urls) {print urls[i] ,size[i] , i}}' | sort -k1 -rn | head -10

查看状态码访问次数
  1. cat access.log | awk '{status[$9]++} END{for (i in status) {print status[i] ,i}}' | sort -k1 -rn 
  3. #查看ip访问状态码的次数
  4. cat access.log | awk '{code[$1" "$9]++} END{for (i in code){print code[i] ,i}}'
  5. #查看某一个ip访问404的次数
  6. cat access.log | awk '{ if ($9="404"){ip_code[$1" "$9]++}} END{for (i in ip_code){ print ip_code[i] ,i}}' | sort -k1 -rn