完整配置:

  1. <?xml version="1.0" encoding="UTF-8"?>
  2. <configuration debug="false" scan="true">
  3. <!-- 统一日志文件名 = 服务名 -->
  4. <springProperty scope="context" name="spring.application.name" source="spring.application.name"/>
  5. <!-- 从配置文件中获取日志文件位置 -->
  6. <springProperty scope="context" name="logging.path" source="logging.path"/>
  7. <!-- 从配置文件中获取root日志级别 -->
  8. <springProperty scope="context" name="logging.level.root" source="logging.level.root"/>
  9. <!-- 从配置文件中获取应用日志级别 -->
  10. <springProperty scope="context" name="logging.level.app" source="logging.level.com.pingxx"/>
  11. <!-- 从配置文件中获取历史日志存放天数 -->
  12. <springProperty scope="context" name="logging.max.history" source="logging.logback.rollingpolicy.max-history"/>
  13. <!-- 本地开发环境 控台日志输出 -->
  14. <springProfile name="local">
  15. <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
  16. <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
  17. <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout">
  18. <Pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level --- [%X{tid}][%20.20thread] %logger{36} : %msg%n</Pattern>
  19. </layout>
  20. </encoder>
  21. </appender>
  22. <logger name="com.pingxx" level="${logging.level.app}" additivity="false">
  23. <appender-ref ref="CONSOLE"/>
  24. </logger>
  25. <root level="${logging.level.root}">
  26. <appender-ref ref="CONSOLE"/>
  27. </root>
  28. </springProfile>
  29. <!-- dev | sit | uat | prod 生产环境日志规范 https://docs.spring.io/spring-boot/docs/current/reference/html/features.html#features.logging-->
  30. <springProfile name="dev | sit | uat | prod">
  31. <appender name="LOGSTASH" class="ch.qos.logback.core.rolling.RollingFileAppender">
  32. <file>${logging.path}/${spring.application.name}.log</file>
  33. <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
  34. <fileNamePattern>${logging.path}/${spring.application.name}.%d{yyyy-MM-dd}.%i.log</fileNamePattern>
  35. <maxFileSize>500MB</maxFileSize>
  36. <maxHistory>${logging.max.history}</maxHistory>
  37. https://blog.csdn.net/youngerson/article/details/103497917
  38. <cleanHistoryOnStart>true</cleanHistoryOnStart>
  39. <totalSizeCap>30GB</totalSizeCap>
  40. </rollingPolicy>
  41. <encoder class="net.logstash.logback.encoder.LogstashEncoder">
  42. <includeContext>false</includeContext>
  43. <includeCallerData>true</includeCallerData>
  44. <customFields>{"module":"${spring.application.name}","hostname":"${HOSTNAME}"}</customFields>
  45. <provider class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.logstash.TraceIdJsonProvider"/>
  46. </encoder>
  47. </appender>
  48. <!-- 日志异步输出 -->
  49. <appender name="ASYNC" class="ch.qos.logback.classic.AsyncAppender">
  50. <!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 -->
  51. <discardingThreshold>0</discardingThreshold>
  52. <!-- 更改默认的队列的深度,该值会影响性能.默认值为256 -->
  53. <queueSize>1024</queueSize>
  54. <!-- 添加附加的appender,最多只能添加一个 -->
  55. <appender-ref ref="LOGSTASH"/>
  56. </appender>
  57. <!-- additivity="false"避免重复打印日志,浪费磁盘空间 -->
  58. <logger name="com.pingxx" level="${logging.level.app}" additivity="false">
  59. <appender-ref ref="ASYNC"/>
  60. </logger>
  61. <root level="${logging.level.root}">
  62. <appender-ref ref="ASYNC"/>
  63. </root>
  64. </springProfile>
  65. </configuration>
  1. logging:
  2. level:
  3. root: info
  4. com.pingxx: info
  5. org.springframework.integration.redis.util.RedisLockRegistry: error
  6. path: /tmp/${spring.application.name}
  7. logback:
  8. rollingpolicy:
  9. max-history: 3

日志文件规范:

logback标签说明

  • 标签,必填标签,用来指定最基础的日志输出级别
  • 标签,添加 append
  • 标签,通过使用该标签指定日志的收集策略
  • name 属性指定 appender 命名
  • class 属性指定输出策略,通常有两种,控制台输出和文件输出,文件输出就是将日志进行一个持久化。ConsoleAppender 将日志输出到控制台
  • 标签,通过使用该标签指定过滤策略
  • 标签指定过滤的类型
  • 标签,使用该标签下的 标签指定日志输出格式
  • 标签指定收集策略,比如基于时间进行收集
  • 标签指定生成日志保存地址 通过这样配置已经实现了分类分天手机日志的目标了
  • 有四个属性:
    • scope:声明该变量的作用域;
    • name:声明该变量的名称;
    • source:声明该变量绑定的环境变量中值的信息;
    • defaultValue:声明该变量的默认值,即在环境变量中未找到信息时的值
  • 的name属性可以指定环境,多个环境可以使用 “|” 分割

多环境日志配置:

参考:https://docs.spring.io/spring-boot/docs/current/reference/html/features.html#features.logging.logback-extensions

  1. <!-- 本地开发环境 控台日志输出 -->
  2. <springProfile name="local">
  3. ...
  4. </springProfile>
  5. <!-- dev, sit, uat, prod生产环境日志规范 -->
  6. <springProfile name="dev | sit | uat | prod">
  7. ...
  8. </springProfile>

日志滚动切分策略:

  1. <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
  2. <!-- 历史日志全路径 -->
  3. <fileNamePattern>${logging.path}/${spring.application.name}.%d{yyyy-MM-dd}.%i.log</fileNamePattern>
  4. <!-- 单日志文件大小 -->
  5. <maxFileSize>500MB</maxFileSize>
  6. <!-- 日志保存周期/日 -->
  7. <maxHistory>${logging.max.history}</maxHistory>
  8. <!-- 日志文件总体的最大值,达到之后就不再产生日志 -->
  9. <totalSizeCap>30GB</totalSizeCap>
  10. </rollingPolicy>

SkyWalking的全局唯一标识 trace-id 链路追踪:

参考:https://skywalking.apache.org/docs/main/latest/en/setup/service-agent/java-agent/application-toolkit-logback-1.x/

  1. <encoder class="net.logstash.logback.encoder.LogstashEncoder">
  2. <includeContext>false</includeContext>
  3. <includeCallerData>true</includeCallerData>
  4. <customFields>{"module":"${spring.application.name}","hostname":"${HOSTNAME}"}</customFields>
  5. <!-- add TID(traceId) field -->
  6. <provider class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.logstash.TraceIdJsonProvider"/>
  7. </encoder>

异步打印日志:

参考:https://logback.qos.ch/manual/appenders.html#AsyncAppender

  1. <!-- 日志异步输出 -->
  2. <appender name="ASYNC" class="ch.qos.logback.classic.AsyncAppender">
  3. <!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 -->
  4. <discardingThreshold>0</discardingThreshold>
  5. <!-- 更改默认的队列的深度,该值会影响性能.默认值为256 -->
  6. <queueSize>256</queueSize>
  7. <!-- 添加附加的appender,最多只能添加一个 -->
  8. <appender-ref ref="LOGSTASH"/>
  9. </appender>

现有业务日志现状

  1. 除mch-application、dashboard-backend模块,其余模块日志输出均依赖common模块配置
  2. idgen、webhook 、不依赖common模块,独立配置日志

    日志打印规范:

    日志级别:

  3. logback有5种级别,分别是TRACE < DEBUG < INFO < WARN < ERROR,定义于ch.qos.logback.classic.Level类中。

  4. 日志级别:
  • trace(跟踪):输出最细致的运行轨迹,可能包含涉及的数据内容。
  • debug(调试):用于线下调试的日志信息,用于分析应用执行逻辑,root logger默认级别是DEBUG。生产环境禁止输出debug日志。
  • info(信息):应用执行过程中的详细信息,一般通过该信息可以看到每个请求的主要执行过程,生产环境非必要关键日志信息应不应输出,防止磁盘占用过载。
  • Warn:(警告):警告信息表示,程序进入了一个特殊的状态,在该状态下程序可以继续运行,但是不建议让程序进入该状态,因为该状态可能导致结果出现问题。通常情况下warn级别的异常都是可预见性业务异常。
    • 如“用户请求参数校验错误”,避免用户投诉时,无所适从。
    • 非必要情况下,不要在此场景打出error级别,避免频繁报警。
  • error (错误):非预期中的错误,此种错误可能导致部分系统异常但不会影响核心业务和系统正常运行。
    • 如RPC异常、http异常、数据缺失、系统逻辑出错,等未知异常 或 可预知但不应在业务逻辑中出现的错误。

应用中的日志应遵循分类可检索原则,有利于归类查找。

  • 关键业务埋点日志,如:接收/响应外部http请求,rpc/http调用、mq消息发送/接收……日志均封装在comon模块,在请求拦截器或滤器中统一封装。该部分已经包含服务关键日志:
    1. @timestamp
    2. @version
    3. message
    4. logger_name
    5. thread_name
    6. level
    7. level_value
    8. request_id
    9. root_mch_id
    10. module
    11. hostname
  1. package com.pingxx.common.consts;
  2. public final class LogConsts {
  3. //request_id
  4. public static final String REQUEST_ID = "request_id";
  5. //租户视角 结构/银行/平台/代理商……
  6. public static final String TENANT_VIEW_POINT = "tenant_view_point";
  7. //租户ID
  8. public static final String TENANT_ID = "tenant_id";
  9. //机构id
  10. public static final String CUP_ORG_ID = "cup_org_id";
  11. //总行id
  12. public static final String ROOT_BANK_ID = "root_bank_id";
  13. //分行id
  14. public static final String BANK_ID = "bank_id";
  15. //平台id
  16. public static final String ROOT_MCH_ID = "root_mch_id";
  17. //代理商id
  18. public static final String AGENT_MCH_ID = "agent_mch_id";
  19. //关键业务节点标识,见LogTypeEnum
  20. public static final String LOG_TYPE = "log_type";
  21. //外部请求url
  22. public static final String REQUEST_URI = "request_uri";
  23. //GET/POST...记录外部请求类型
  24. public static final String REQUEST_METHOD = "request_method";
  25. //
  26. public static final String REQUEST_QUERY_STRING = "request_query_string";
  27. //请求体
  28. public static final String REQUEST_BODY = "request_body";
  29. //请求头
  30. public static final String REQUEST_HEADERS = "request_headers";
  31. //完整请求头
  32. public static final String REQUEST_HEADERS_ALL = "request_headers_all";
  33. //响应报文
  34. public static final String RESPONSE_BODY = "response_body";
  35. //响应头
  36. public static final String RESPONSE_HEADERS = "response_headers";
  37. //完整响应头
  38. public static final String RESPONSE_HEADERS_ALL = "response_headers_all";
  39. //请求时间
  40. public static final String REQUEST_TIME = "request_time";
  41. //响应状态码
  42. public static final String STATUS_CODE = "status_code";
  43. //响应错误码
  44. public static final String ERROR_CODE = "error_code";
  45. //异常抛出类
  46. public static final String EXCEPTION_CLASS = "exception_class";
  47. //耗费时间
  48. public static final String COST_MS = "cost_ms";
  49. //mq消费端标识
  50. public static final String IS_CONSUMER_SIDE = "is_consumer_side";
  51. //调用链ID
  52. public static final String CALL_ID_CHAIN = "call_id_chain";
  53. //开始时间
  54. public static final String START_TIME = "start_time";
  55. //成功标识
  56. public static final String IS_SUCCEEDED = "is_succeeded";
  57. //dubbo调用interface
  58. public static final String INTERFACE = "interface";
  59. //dubbo调用方法名
  60. public static final String METHOD_NAME = "method_name";
  61. //dubbo调用返回结果
  62. public static final String RESULT = "result";
  63. //dubbo/kafka调用参数
  64. public static final String ARGS = "args";
  65. //请求上下文信息
  66. public static final String ATTACHMENT_REQUEST_INFO = "attachment_request_info";
  67. //灰度
  68. public static final String ATTACHMENT_DUBBO_TAG = "attachment_dubbo_tag";
  69. //银行名
  70. public static final String BANK_NAME = "bank_name";
  71. /**
  72. * sky walking 的traceId
  73. */
  74. public static final String TRACE_ID = "trace_id";
  75. }
  • 有除了关键节点日志之外,其它自定义业务日志,通过 org.slf4j.Marker 来传递,示例:

    1. log.info(append("log_type", "dubbo_method_invoked"), "some message");
  • 日志记录应包含业务节点标识: ```java

public enum LogTypeEnum implements IFieldEnum { API_REQUEST_RESPONSE(1, “api_request_response”), //dubbo调用标识 DUBBO_METHOD_INVOKE(2, “dubbo_method_invoke”), //异常标识 EXCEPTION(3, “exception”), //外部请求标识 HTTP_API_REQUEST(4, “http_api_request”), //外部请求响应标识 HTTP_API_RESPONSE(5, “http_api_response”), //可预见性业务错误 BUSINESS_ERROR(6, “business_error”), //逻辑错误 LOGIC_ERROR(7, “logic_error”), //请求银行标识 SEND_TO_BANK(8, “send_to_bank”), //银行响应错误 BANK_RESPONSE_DATA_ERROR(9, “bank_response_data_error”), //请求参数校验错误 INVALID_REQUEST_ERROR(10, “invalid_request_error”), //正常业务日志 BUSINESS_INFO(11, “business_info”), // MCH_INIT_GATEWAY_ERROR(12, “mch_init_gateway_error”), //商户信息同步kong api网关失败 MCH_SYNCHRONOUS_PERMISSIONS_ERROR(13, “mch_synchronous_permissions_error”), //mq消息发送标识 MESSAGE_QUEUE_SEND(14, “message_queue_send”), //mq消息接收标识 MESSAGE_QUEUE_CONSUME(15, “message_queue_consume”), ;

  1. - **对trace/debug/info级别的日志输出,强制使用占位符的方式,杜绝+链接参数打印。<br />**说明:logger.debug("Processing trade with id: " + id + " and symbol: " + symbol);
  2. 如果日志级别是warn,上述日志不会打印,但是会执行字符串拼接操作,如果symbol是对象,会执行toString()方法,浪费了系统资源,执行了上述操作,最终日志却没有打印。<br />反例:

log.debug(“Processing trade with id: “ + id + “ and symbol: “ + symbol);

  1. 正例:

log.debug(“Processing trade with id: {} and symbol : {} “, id, symbol); ```

  • 异常信息日志应该包括两类信息:案发现场信息和异常堆栈信息。如果不处理,那么通过关键字throws往上抛出。