Java
许多系统为了安全需要对敏感信息（如手机号、邮箱、姓名、身份证号、密码、卡号、住址等）的日志打印要求脱敏后才能输出，这里分享一种log4j日志脱敏方式。

自定义Layout

  1. import org.apache.logging.log4j.core.Layout;
  2. import org.apache.logging.log4j.core.LogEvent;
  3. import org.apache.logging.log4j.core.config.Node;
  4. import org.apache.logging.log4j.core.config.plugins.Plugin;
  5. import org.apache.logging.log4j.core.config.plugins.PluginAttribute;
  6. import org.apache.logging.log4j.core.config.plugins.PluginElement;
  7. import org.apache.logging.log4j.core.config.plugins.PluginFactory;
  8. import org.apache.logging.log4j.core.layout.AbstractStringLayout;
  9. import org.apache.logging.log4j.core.layout.PatternLayout;
  10. import org.apache.logging.log4j.core.pattern.RegexReplacement;
  12. import java.nio.charset.Charset;
  14. @Plugin(name = "MyPatternLayout", category = Node.CATEGORY, elementType = Layout.ELEMENT_TYPE, printObject = true)
  15. public class MyPatternLayout extends AbstractStringLayout {
  16.     private PatternLayout patternLayout;
  17.     private Boolean sensitive;
  18.     private RegexReplacement[] replaces;
  20.     protected MyPatternLayout(Charset charset, String pattern, Boolean sensitive, RegexReplacement[] replaces) {
  21.         super(charset);
  22.         patternLayout = PatternLayout.newBuilder().withPattern(pattern).build();
  23.         this.sensitive = sensitive;
  24.         this.replaces = replaces;
  25.     }
  27.     /**
  28.     * 插件构造工厂方法
  29.     *
  30.     * @param pattern   输出pattern
  31.     * @param charset   字符集
  32.     * @param sensitive 是否开启脱敏
  33.     * @param replaces  脱敏规则
  34.     * @return Layout<String>
  35.     */
  36.     @PluginFactory
  37.     public static Layout<String> createLayout(@PluginAttribute(value = "pattern") final String pattern,
  38.                                               @PluginAttribute(value = "charset", defaultString = "UTF-8") final Charset charset,
  39.                                               @PluginAttribute(value = "sensitive") final Boolean sensitive,
  40.                                               @PluginElement("replace") final RegexReplacement[] replaces) {
  41.         return new MyPatternLayout(charset, pattern, sensitive, replaces);
  42.     }
  45.     @Override
  46.     public String toSerializable(LogEvent event) {
  47.         // 原日志信息
  48.         String msg = this.patternLayout.toSerializable(event);
  50.         if (Boolean.FALSE.equals(this.sensitive)) {
  51.             // 不脱敏，直接返回
  52.             return msg;
  53.         }
  55.         if (this.replaces == null || this.replaces.length == 0) {
  56.             throw new RuntimeException("未配置脱敏规则，请检查配置重试");
  57.         }
  59.         for (RegexReplacement replace : this.replaces) {
  60.             // 遍历脱敏正则 & 替换敏感数据
  61.             msg = replace.format(msg);
  62.         }
  64.         // 脱敏后的日志
  65.         return msg;
  66.     }
  67. }

编写log4j配置

以下预设了8中常见规则，请自行根据实际情况修改

  1. <?xml version="1.0" encoding="utf-8"?>
  2. <configuration>
  3.     <properties>
  4.         <!-- 文件输出格式 -->
  5.         <property name="PATTERN">%d{yyyy-MM-dd HH:mm:ss.SSS} %5level --- [%t] %c : %msg%n</property>
  6.     </properties>
  8.     <appenders>
  9.         <!-- 日志打印到控制台Appender -->
  10.         <Console name="CONSOLE" target="system_out">
  11.             <MyPatternLayout pattern="${PATTERN}" sensitive="true">
  12.                 <replace>
  13.                     <!-- 11位的手机号：保留前3后4 -->
  14.                     <regex>
  15.                         <![CDATA[
  16.     (mobile|手机号)(=|=\[|\":\"|:|：|=')(1)([3-9]{2})(\d{4})(\d{4})(\]|\"|'|)
  17.        ]]>
  18.                     </regex>
  19.                     <replacement>$1$2$3$4****$6$7</replacement>
  20.                 </replace>
  21.                 <replace>
  22.                     <!-- 固定电话：XXXX-XXXXXXXX或XXX-XXXXXXXX，保留区号+前2后2 -->
  23.                     <regex>
  24.                         <![CDATA[
  25.     (tel|座机)(=|=\[|\":\"|:|：|=')([\d]{3,4}-)(\d{2})(\d{4})(\d{2})(\]|\"|'|)
  26.        ]]>
  27.                     </regex>
  28.                     <replacement>$1$2$3$4****$6$7</replacement>
  29.                 </replace>
  31.                 <replace>
  32.                     <!-- 地址：汉字+字母+数字+下划线+中划线，留前3个汉字 -->
  33.                     <regex>
  34.                         <![CDATA[
  35.     (地址|住址|address)(=|=\[|\":\"|:|：|=')([\u4e00-\u9fa5]{3})(\w|[\u4e00-\u9fa5]|-)*(\]|\"|'|)
  36.        ]]>
  37.                     </regex>
  38.                     <replacement>$1$2$3****$5</replacement>
  39.                 </replace>
  42.                 <replace>
  43.                     <!-- 19位的卡号，保留后4 -->
  44.                     <regex>
  45.                         <![CDATA[
  46.     (cardNo|卡号)(=|=\[|\":\"|:|：|=')(\d{15})(\d{4})(\]|\"|'|)
  47.        ]]>
  48.                     </regex>
  49.                     <replacement>$1$2***************$4$5</replacement>
  50.                 </replace>
  52.                 <replace>
  53.                     <!-- 姓名,2-4汉字，留前1-->
  54.                     <regex>
  55.                         <![CDATA[
  56.     (name|姓名)(=|=\[|\":\"|:|：|=')([\u4e00-\u9fa5]{1})([\u4e00-\u9fa5]{1,3})(\]|\"|'|)
  57.        ]]>
  58.                     </regex>
  59.                     <replacement>$1$2$3**$5</replacement>
  60.                 </replace>
  62.                 <replace>
  63.                     <!--  密码 6位数字，全* -->
  64.                     <regex>
  65.                         <![CDATA[
  66.      (password|密码|验证码)(=|=\[|\":\"|:|：|=')(\d{6})(\]|\"|'|)
  67.        ]]>
  68.                     </regex>
  69.                     <replacement>$1$2******$4</replacement>
  70.                 </replace>
  72.                 <replace>
  73.                     <!-- 身份证，18位（结尾为数字或X、x），保留前1后1 -->
  74.                     <regex>
  75.                         <![CDATA[
  76.        (身份证号|idCard)(=|=\[|\":\"|:|：|=')(\d{1})(\d{16})([\d|X|x]{1})(\]|\"|)
  77.        ]]>
  78.                     </regex>
  79.                     <replacement>$1$2$3****************$5$6</replacement>
  80.                 </replace>
  82.                 <replace>
  83.                     <!-- 邮箱，保留@前的前1后1 -->
  84.                     <regex>
  85.                         <![CDATA[
  86.        (\w{1})(\w*)(\w{1})@(\w+).com
  87.        ]]>
  88.                     </regex>
  89.                     <replacement>$1****$3@$4.com</replacement>
  90.                 </replace>
  91.             </MyPatternLayout>
  92.         </Console>
  93.     </appenders>
  95.     <loggers>
  96.         <!-- 控制台输出 -->
  97.         <root level="info">
  98.             <AppenderRef ref="CONSOLE"/>
  99.         </root>
  100.     </loggers>
  102. </configuration>

注意：

  • Console使用了自己写的的**MyPatternLayout**，**MyPatternLayout**的两个属性pattern和sensitive，对应类**MyPatternLayout**的插件工厂方法的入参

  • **MyPatternLayout**节点的子节点**replace**（可多个）是配置的脱敏正则表达式

    正则匹配说明

    1. <replace>
    2.   <!-- 11位的手机号：保留前3后4 -->
    3.   <regex>
    4.       <![CDATA[
    5. (mobile|手机号|phoneNo)(=|=\[|\":\"|:|：|=')(1)([3-9]{2})(\d{4})(\d{4})(\]|\"|'|)
    6.                       ]]>
    7.   </regex>
    8.   <replacement>$1$2$3$4****$6$7</replacement>
    9. </replace>

    regex说明

  • **(mobile|手机号|phoneNo)**：脱敏关键字，多个之间以英文|分隔

  • **(=|=\[|\":\"|:|：|=')**：关键字后的符号，多个之间以英文|分隔，详见下文匹配说明
  • **(1)**：匹配数字1
  • **([3-9]{2})**：匹配2位数字，取值为3-9间的数字
  • **(\d{4})**：匹配4位数字
  • **(\d{4})**：匹配4位数字

  • **(\]|\"|'|)**：匹配值后的其他字符

    1. // 代码
    2. logger.infoMessage("mobile={}", "13511114444");
    1. # 脱敏后
    2. 2021-11-16 11:02:08.767  INFO --- [main] log.test.LogTest : mobile=135****4444

    分组匹配示意图（同颜色为对应关系）
    Java 日志数据脱敏 - 图1
    replacement中的$n即对应第n对括号（从1开始），上图中共有7对括号，$1$2$3$4****$6$7则表示，仅有第5组内容被**替代，其他内容按原内容显示

    注意事项

  • 根据情况自行调整replace节点

  • 含脱敏关键字的正则，尽量列举全面
  • 值匹配正则（如上文的手机号的第3分组到倒数第2分组）：需要根据实际情况调整，特别是卡号、账号的规则，各家银行或有不同
  • 修改完配置后，务必进行测试，正则解析出错只有运行时可发现

  • 日志打印规范，根据第2分组**(=|=\[|\":\"|:|：|=')**可知，可匹配如下情况

    1. @Test
    2. public void test0() {
    3.   // 等号
    4.   logger.infoMessage("mobile={}", "13511114444");
    5.   // 等号+[
    6.   logger.infoMessage("mobile=[{}]", "13511114444");
    7.   // 英文单引号+等号
    8.   logger.infoMessage("mobile'='{}'", "13511114444");
    9.   // 中文冒号
    10.   logger.infoMessage("mobile：{}", "13511114444");
    11.   // 英文冒号
    12.   logger.infoMessage("mobile:{}", "13511114444");
    13.   // 英文双引号+英文冒号
    14.   logger.infoMessage("\"mobile\":\"{}\"", "13511114444");
    15. }
    1. # 脱敏后
    2. log.test.LogTest : mobile=135****4444
    3. log.test.LogTest : mobile=[135****4444]
    4. log.test.LogTest : mobile：135****4444
    5. log.test.LogTest : mobile:135****4444
    6. log.test.LogTest : 'mobile'='13511114444'
    7. log.test.LogTest : "mobile":"135****4444"

    对于不符合如上的情况，请调整代码或修改匹配正则

    脱敏测试

    普通字符串值直接输出

    1. @Test
    2. public void test1() {
    3.   //11位手机号
    4.   logger.infoMessage("mobile={}", "13511114444");
    5.   logger.infoMessage("mobile={},手机号：{}", "13511112222", "13511113333");
    6.   logger.infoMessage("手机号：{}", "13511115555");
    7.   //固定电话（带区号-）
    8.   logger.infoMessage("tel：{},座机={}", "0791-83376222", "021-88331234");
    9.   logger.infoMessage("tel：{}", "0791-83376222");
    10.   logger.infoMessage("座机={}", "021-88331234");
    12.   //地址
    13.   logger.infoMessage("address：{}", "浙江省杭州市西湖区北京西路100号");
    14.   logger.infoMessage("地址：{}", "上海市浦东区北京东路1-10号");
    16.   //19位卡号
    17.   logger.infoMessage("cardNo：{}", "6227002020000101222");
    19.   //姓名
    20.   logger.infoMessage("name={}, 姓名=[{}]，name={}，姓名：{}", "张三", "上官婉儿", "李云龙", "楚云飞");
    22.   //密码
    23.   logger.infoMessage("password：{}，密码={}", "123456", "456789");
    24.   logger.infoMessage("password：{}", "123456");
    25.   logger.infoMessage("密码={}", "123456");
    27.   //身份证号码
    28.   logger.infoMessage("idCard：{}，身份证号={}", "360123202111111122", "360123202111111122");
    29.   logger.infoMessage("身份证号={}", "360123202111111122");
    31.   //邮箱
    32.   logger.infoMessage("邮箱:{}", "wxyz123@qq.com");
    33.   logger.infoMessage("email={}", "wxyz123@qq.com");
    34. }
    1. # 结果
    2. log.test.LogTest : mobile=135****4444
    3. log.test.LogTest : mobile=135****2222,手机号：135****3333
    4. log.test.LogTest : 手机号：135****5555
    5. log.test.LogTest : tel：0791-83****22,座机=021-88****34
    6. log.test.LogTest : tel：0791-83****22
    7. log.test.LogTest : 座机=021-88****34
    8. log.test.LogTest : address：浙江省****
    9. log.test.LogTest : 地址：上海市****
    10. log.test.LogTest : cardNo：***************1222
    11. log.test.LogTest : name=张**, 姓名=[上**]，name=李**，姓名：楚**
    12. log.test.LogTest : password：******，密码=******
    13. log.test.LogTest : password：******
    14. log.test.LogTest : 密码=******
    15. log.test.LogTest : idCard：3****************2，身份证号=3****************2
    16. log.test.LogTest : 身份证号=3****************2
    17. log.test.LogTest : 邮箱:w****3@qq.com
    18. log.test.LogTest : email=w****3@qq.com

    json和toString的脱敏输出

    1. @Test
    2. public void test2() {
    3.   User user = new User();
    4.   user.setCardNo("6227002020000101222");
    5.   user.setTel("0571-28821111");
    6.   user.setAddress("浙江省西湖区西湖路288号钱江乐园2-101室");
    7.   user.setEmail("zhangs12345@qq.com");
    8.   user.setPassword("123456");
    9.   user.setMobile("15911116789");
    10.   user.setName("张三");
    11.   user.setIdCard("360123202111111122");
    13.   Job job = new Job();
    14.   job.setAddress("浙江省西湖区西湖路288号钱江乐园2-101室");
    15.   job.setTel("0571-12345678");
    16.   job.setJobName("操作员");
    17.   job.setSalary(2000);
    18.   job.setCompany("股份有限公司");
    19.   job.setPosition(Arrays.asList("需求", "开发", "测试", "上线"));
    21.   user.setJob(job);
    23. //toString
    24.   logger.infoMessage("用户信息：{}", user);
    25.   //json
    26.   logger.infoMessage("用户信息：{}", JSONUtil.toJsonStr(user));
    27. }

    ```java log.test.LogTest : 用户信息：User{name=’张‘, idCard=’3**2’, cardNo=’*1222’, mobile=’1596789’, tel=’0571-2811’, password=’**‘, email=’z5@qq.com’, address=’浙江省‘, job=Job{jobName=’操作员’, salary=2000, company=’股份有限公司’, address=’浙江省‘, tel=’0571-1278’, position=[需求, 开发, 测试, 上线]}}

log.test.LogTest : 用户信息：{“password”:”**“,”address”:”浙江省“,”idCard”:”3**2”,”name”:”张“,”mobile”:”159**6789”,”tel”:”0571-2811”,”job”:{“jobName”:”操作员”,”address”:”浙江省“,”company”:”股份有限公司”,”tel”:”0571-1278”,”position”:[“需求”,”开发”,”测试”,”上线”],”salary”:2000},”cardNo”:”*1222”,”email”:”z**5@qq.com”} ``` 在线正则测试：https://c.runoob.com/front-end/854/
参考链接