Linux日志切割

1. 建立脚本文件

  1. mkdir -p /app/script/log_clean
  2. vi /app/script/log_clean/log_clean.sh

2. 脚本内容

  1. #!/bin/sh
  2. #日志压缩清理脚本，本脚本对指定目录文件进行压缩、清理，支持超过指定大小清理，超过指定日期清理。
  3. #========================自定义配置==============================
  4. #配置格式：定义log_conf数组，数组的第一个值为：日志目录；第二个为：匹配日志文件；第三个为：日志过期时间，操作过期时间则进行删除；第四个为：最大存储大小，超过则会进行删除；第五个为：不压缩最近几个日志，第六个为：是否进行切割，切割则填写c，否则填写f，第七个为：切割的文件名
  5. log_conf[0]=""/opt/lingmou/capture-server-exception/logs/" "*.zip.*" "7" 100 10"      #表示清理/opt/lingmou/capture-server-exception/logs/目录下匹配为*.zip.*的日志文件，最长保留日期为7天，最大存储为100G，不压缩最近10个日志（方便查看）
  6. log_conf[1]=""/opt/nginx/logs/" "configcenter.private.access.log.202*" "7" 10 2 c "configcenter.private.access.log""         #表示清理opt/nginx/logs/目录下匹配为configcenter.private.access.log.202*的日志文件，最长保留日期为7天，最大存储10G，不压缩最近2个日志，进行切割日志，切割的日志文件为configcenter.private.access.log
  8. script_log="log.log" #[必填]当前脚本日志存储路径，默认为当前目录的log.log文件
  9. #========================程序====================================
  10. cd $(cd `dirname $0`; pwd)    #切换到脚本运行目录
  11. log_clean_check="$1"
  12. log_name="清理日志" #填写日志脚本名称，以方便能在日志文件里面快速查找到
  15. run() {
  16.         for log_conf_str in "${log_conf[@]}"; do
  17.                 log_conf_file_path=$(echo "${log_conf_str}" | awk '{print $1}')
  18.                 echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 开始处理:${log_conf_str}" | tee -a ${script_log}
  19.                 if [[ -d $log_conf_file_path ]]; then
  21.                         log_conf_file_path_list=$(find ${log_conf_file_path} -maxdepth 0 -type d)
  22.                         while read line; do
  23.                                 log_conf_str2=$(echo "${log_conf_str}" | awk '{$1="";print $0}')
  24.                                 log_conf_str2=$(echo "${line}${log_conf_str2}")
  25.                                 echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 开始处理日志文件:${log_conf_str2}" | tee -a ${script_log}
  26.                                 Start ${log_conf_str2}
  27.                         done <<<"$log_conf_file_path_list"
  28.                 else
  29.                         echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 处理完成,目录:${log_conf_file_path} 不存在,不进行处理!" | tee -a ${script_log}
  30.                 fi
  31.         done
  33. }
  35. #启动判断程序
  36. Start() {
  37.         log_path="$1"
  38.         log_key="$2"
  39.         log_overdue="$3"
  40.         log_max="$4"
  41.         log_nogzip="$5"
  42.         log_cutting="$6"
  43.         log_cut="$7"
  44.         #判断是否需要切割日志
  45.         if [[ $log_cutting = "c" ]]; then
  46.                 if [[ -n $log_cut ]]; then
  47.                         echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 切割日志启动" | tee -a ${script_log}
  48.                         cut_logs
  49.                 fi
  50.         fi
  52.         #启动过期日志判断
  53.         if [[ -n $log_overdue && $log_overdue != "-1" ]]; then
  54.                 echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 限制日期模式启动" | tee -a ${script_log}
  55.                 clean_overdue
  56.         fi
  58.         #判断是否需要压缩日志
  59.         if [[ -n $log_nogzip && $log_nogzip != "-1" ]]; then
  60.                 echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 压缩日志启动" | tee -a ${script_log}
  61.                 if [ ! -d $log_bak ]; then
  62.                         mkdir -p $log_bak
  63.                         echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 创建备份目录:$log_bak" | tee -a ${script_log}
  64.                 fi
  65.                 gzip_logs
  66.         fi
  68.         #清除操作指定大小文件
  69.         if [[ -n $log_max && $log_max != "-1" ]]; then
  70.                 echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 限制文件大小模式启动" | tee -a ${script_log}
  71.                 clean_max
  72.         fi
  73. }
  74. #切割日志
  75. cut_logs() {
  76.         log_filepath="${log_path}${log_cut}"
  77.         log_newpath="${log_filepath}.$(date -d "yesterday" +"%Y-%m-%d")"
  78.         while :; do
  79.                 if [ ! -f $log_newpath ]; then
  80.                         break
  81.                 else
  82.                         i=$(expr $i + 1)
  83.                         log_newpath="${log_filepath}.$(date -d "yesterday" +"%Y-%m-%d").${i}"
  84.                 fi
  85.         done
  86.         echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 将${log_filepath}复制为${log_newpath}"
  87.         if [[ "${log_clean_check}t" != "tt" ]]; then
  88.                 if [[ -f ${log_filepath} ]]; then
  89.                         cp -fpb ${log_filepath} ${log_newpath}
  90.                         echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 复制完成" | tee -a ${script_log}
  91.                         echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 清空${log_filepath}日志" | tee -a ${script_log}
  92.                         : >${log_filepath}
  93.                         echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 日志切割完成" | tee -a ${script_log}
  94.                 else
  95.                         echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 文件${log_filepath}不存在不进行处理" | tee -a ${script_log}
  96.                 fi
  97.         fi
  99. }
  101. #压缩日志
  102. gzip_logs() {
  103.         echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 压缩目录:$log_path 匹配文件:$log_key 不压缩个数:$log_nogzip" | tee -a ${script_log}
  104.         filelist=$(find ${log_path} -name "${log_key}" | xargs ls -tr | grep ${log_path} | grep -v gz | tac | sed "1,${log_nogzip}d" | tac)
  105.         for line in $filelist; do
  106.                 log_bak="${line%/*}/bak"
  107.                 if [[ ! -d $log_bak ]]; then
  108.                         mkdir -p $log_bak
  109.                         echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 创建备份目录:$log_bak" | tee -a ${script_log}
  110.                 fi
  111.                 echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 开始压缩$line" | tee -a ${script_log}
  112.                 if [[ "${log_clean_check}t" != "tt" ]]; then
  113.                         if [[ -f ${line} ]]; then
  114.                                 gzip_size=$(gzip -9 $line)
  115.                         else
  116.                                 echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 文件${line}不存在不进行处理" | tee -a ${script_log}
  117.                         fi
  118.                 fi
  120.                 echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 压缩完成$line" | tee -a ${script_log}
  121.                 line="${line}.gz"
  122.                 echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 开始移动压缩文件$line" | tee -a ${script_log}
  124.                 if [[ "${log_clean_check}t" != "tt" ]]; then
  125.                         if [[ -f ${line} ]]; then
  126.                                 mv $line $log_bak
  127.                         else
  128.                                 echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 文件${line}不存在不进行处理" | tee -a ${script_log}
  129.                         fi
  130.                 fi
  131.                 echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 移动压缩文件完成$log_bak" | tee -a ${script_log}
  132.         done
  133. }
  135. #清理:日期模式
  136. clean_overdue() {
  137.         if [[ "${log_clean_check}t" != "tt" ]]; then
  138.                 logs=$(find ${log_path} -mtime +${log_overdue} -name "${log_key}" | xargs rm -f) #清理日志
  139.         else
  140.                 logs=$(find ${log_path} -mtime +${log_overdue} -name "${log_key}") #清理日志
  141.                 echo "${logs}" | tee -a ${script_log}
  142.         fi
  143.         echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 清理超过${log_overdue}天的日志完成" | tee -a ${script_log}
  144. }
  146. #清理:最大文件模式
  147. clean_max() {
  148.         filelist=$(find ${log_path} -name "${log_key}" | xargs ls -tr | grep ${log_path})
  149.         filelist_count=$(echo "${filelist}" | wc -l)
  150.         i=0
  151.         for line in $filelist; do
  152.                 i=$(expr ${i} + 1)
  153.                 nowsize=$(find ${log_path} -name "${log_key}" | xargs du -cm | tail -1 | awk '{print $1/1024}')
  154.         if [[ $(echo "$nowsize > $log_max"|bc) -eq 1 ]]; then
  155.                         if [[ $i -eq $filelist_count ]]; then
  156.                                 echo "" >$line
  157.                                 echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 超过最大内存，当前:${nowsize}G,限制:${log_max}G,置空清理:${line}" | tee -a ${script_log}
  158.                         else
  159.                                 logs=$(echo $line | xargs rm -f) #清理日志
  160.                                 echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 超过最大内存，当前:${nowsize}G,限制:${log_max}G,清理:${line}" | tee -a ${script_log}
  161.                         fi
  163.                 else
  164.                         echo "$(date "+%Y-%m-%d %H:%M:%S") [$log_name] 未超过最大内存，当前:${nowsize}G,限制:${log_max}G,不需要清理" | tee -a ${script_log}
  165.                         break
  166.                 fi
  167.         done
  168. }
  170. run

3. 给予可执行权限

  1. chmod a+x /app/script/log_clean/log_clean.sh

4. 加入定时任务

  1. echo "00 03 * * * root bash /app/scripts/log_clean/log_clean.sh >/dev/null 2>&1" >/etc/cron.d/log_clean