Java SpringBoot Redis

一、业务背景

有些业务请求,属于耗时操作,需要加锁,防止后续的并发操作,同时对数据库的数据进行操作,需要避免对之前的业务造成影响。

二、分析流程

使用 Redis 作为分布式锁,将锁的状态放到 Redis 统一维护,解决集群中单机 JVM 信息不互通的问题,规定操作顺序,保护用户的数据正确。
梳理设计流程

  1. 新建注解 @interface,在注解里设定入参标志
  2. 增加 AOP 切点,扫描特定注解
  3. 建立 @Aspect 切面任务,注册 bean 和拦截特定方法
  4. 特定方法参数 ProceedingJoinPoint,对方法 pjp.proceed() 前后进行拦截
  5. 切点前进行加锁,任务执行后进行删除 key

核心步骤:加锁、解锁和续时

加锁

使用了 RedisTemplateopsForValue.setIfAbsent 方法,判断是否有 key,设定一个随机数 UUID.random().toString,生成一个随机数作为 value。
从 redis 中获取锁之后,对 key 设定 expire 失效时间,到期后自动释放锁。
按照这种设计,只有第一个成功设定Key的请求,才能进行后续的数据操作,后续其它请求由于无法获得🔐资源,将会失败结束。

超时问题

担心pjp.proceed()切点执行的方法太耗时,导致Redis中的key由于超时提前释放了。
例如,线程 A 先获取锁,proceed 方法耗时,超过了锁超时时间,到期释放了锁,这时另一个线程 B 成功获取Redis锁,两个线程同时对同一批数据进行操作,导致数据不准确。

解决方案:增加一个「续时」

任务不完成,锁不释放:
维护了一个定时线程池ScheduledExecutorService,每隔 2s 去扫描加入队列中的 Task,判断是否失效时间是否快到了,公式为:【失效时间】<= 【当前时间】+【失效间隔(三分之一超时)】

  1. /**
  2. * 线程池,每个 JVM 使用一个线程去维护 keyAliveTime,定时执行 runnable
  3. */
  4. private static final ScheduledExecutorService SCHEDULER =
  5. new ScheduledThreadPoolExecutor(1,
  6. new BasicThreadFactory.Builder().namingPattern("redisLock-schedule-pool").daemon(true).build());
  7. static {
  8. SCHEDULER.scheduleAtFixedRate(() -> {
  9. // do something to extend time
  10. }, 0, 2, TimeUnit.SECONDS);
  11. }

三、设计方案

经过上面的分析,设计出了这个方案:
2021-05-31-13-17-30-396952.png
前面已经说了整体流程,这里强调一下几个核心步骤:

  • 拦截注解 @RedisLock,获取必要的参数
  • 加锁操作
  • 续时操作
  • 结束业务,释放锁

    四、实际操作

    相关属性类配置

    业务属性枚举设定

    1. public enum RedisLockTypeEnum {
    2. /**
    3. * 自定义 key 前缀
    4. */
    5. ONE("Business1", "Test1"),
    6. TWO("Business2", "Test2");
    7. private String code;
    8. private String desc;
    9. RedisLockTypeEnum(String code, String desc) {
    10. this.code = code;
    11. this.desc = desc;
    12. }
    13. public String getCode() {
    14. return code;
    15. }
    16. public String getDesc() {
    17. return desc;
    18. }
    19. public String getUniqueKey(String key) {
    20. return String.format("%s:%s", this.getCode(), key);
    21. }
    22. }

    任务队列保存参数

    1. public class RedisLockDefinitionHolder {
    2. /**
    3. * 业务唯一 key
    4. */
    5. private String businessKey;
    6. /**
    7. * 加锁时间 (秒 s)
    8. */
    9. private Long lockTime;
    10. /**
    11. * 上次更新时间(ms)
    12. */
    13. private Long lastModifyTime;
    14. /**
    15. * 保存当前线程
    16. */
    17. private Thread currentTread;
    18. /**
    19. * 总共尝试次数
    20. */
    21. private int tryCount;
    22. /**
    23. * 当前尝试次数
    24. */
    25. private int currentCount;
    26. /**
    27. * 更新的时间周期(毫秒),公式 = 加锁时间(转成毫秒) / 3
    28. */
    29. private Long modifyPeriod;
    30. public RedisLockDefinitionHolder(String businessKey, Long lockTime, Long lastModifyTime, Thread currentTread, int tryCount) {
    31. this.businessKey = businessKey;
    32. this.lockTime = lockTime;
    33. this.lastModifyTime = lastModifyTime;
    34. this.currentTread = currentTread;
    35. this.tryCount = tryCount;
    36. this.modifyPeriod = lockTime * 1000 / 3;
    37. }
    38. }

    设定被拦截的注解名字

    1. @Retention(RetentionPolicy.RUNTIME)
    2. @Target({ElementType.METHOD, ElementType.TYPE})
    3. public @interface RedisLockAnnotation {
    4. /**
    5. * 特定参数识别,默认取第 0 个下标
    6. */
    7. int lockFiled() default 0;
    8. /**
    9. * 超时重试次数
    10. */
    11. int tryCount() default 3;
    12. /**
    13. * 自定义加锁类型
    14. */
    15. RedisLockTypeEnum typeEnum();
    16. /**
    17. * 释放时间,秒 s 单位
    18. */
    19. long lockTime() default 30;
    20. }

    核心切面拦截的操作

    RedisLockAspect.java 该类分成三部分来描述具体作用

    Pointcut 设定

    1. /**
    2. * @annotation 中的路径表示拦截特定注解
    3. */
    4. @Pointcut("@annotation(cn.sevenyuan.demo.aop.lock.RedisLockAnnotation)")
    5. public void redisLockPC() {
    6. }

    Around 前后进行加锁和释放锁

    前面步骤定义了要拦截的切点,下一步就是在切点前后做一些自定义操作:

    1. @Around(value = "redisLockPC()")
    2. public Object around(ProceedingJoinPoint pjp) throws Throwable {
    3. // 解析参数
    4. Method method = resolveMethod(pjp);
    5. RedisLockAnnotation annotation = method.getAnnotation(RedisLockAnnotation.class);
    6. RedisLockTypeEnum typeEnum = annotation.typeEnum();
    7. Object[] params = pjp.getArgs();
    8. String ukString = params[annotation.lockFiled()].toString();
    9. // 省略很多参数校验和判空
    10. String businessKey = typeEnum.getUniqueKey(ukString);
    11. String uniqueValue = UUID.randomUUID().toString();
    12. // 加锁
    13. Object result = null;
    14. try {
    15. boolean isSuccess = redisTemplate.opsForValue().setIfAbsent(businessKey, uniqueValue);
    16. if (!isSuccess) {
    17. throw new Exception("You can't do it,because another has get the lock =-=");
    18. }
    19. redisTemplate.expire(businessKey, annotation.lockTime(), TimeUnit.SECONDS);
    20. Thread currentThread = Thread.currentThread();
    21. // 将本次 Task 信息加入「延时」队列中
    22. holderList.add(new RedisLockDefinitionHolder(businessKey, annotation.lockTime(), System.currentTimeMillis(),
    23. currentThread, annotation.tryCount()));
    24. // 执行业务操作
    25. result = pjp.proceed();
    26. // 线程被中断,抛出异常,中断此次请求
    27. if (currentThread.isInterrupted()) {
    28. throw new InterruptedException("You had been interrupted =-=");
    29. }
    30. } catch (InterruptedException e ) {
    31. log.error("Interrupt exception, rollback transaction", e);
    32. throw new Exception("Interrupt exception, please send request again");
    33. } catch (Exception e) {
    34. log.error("has some error, please check again", e);
    35. } finally {
    36. // 请求结束后,强制删掉 key,释放锁
    37. redisTemplate.delete(businessKey);
    38. log.info("release the lock, businessKey is [" + businessKey + "]");
    39. }
    40. return result;
    41. }

    上述流程简单总结一下:

  • 解析注解参数,获取注解值和方法上的参数值

  • redis 加锁并且设置超时时间
  • 将本次 Task 信息加入「延时」队列中,进行续时,方式提前释放锁
  • 加了一个线程中断标志
  • 结束请求,finally 中释放锁

    续时操作

    这里用了 ScheduledExecutorService,维护了一个线程,不断对任务队列中的任务进行判断和延长超时时间:
    1. // 扫描的任务队列
    2. private static ConcurrentLinkedQueue<RedisLockDefinitionHolder> holderList = new ConcurrentLinkedQueue();
    3. /**
    4. * 线程池,维护keyAliveTime
    5. */
    6. private static final ScheduledExecutorService SCHEDULER = new ScheduledThreadPoolExecutor(1,
    7. new BasicThreadFactory.Builder().namingPattern("redisLock-schedule-pool").daemon(true).build());
    8. {
    9. // 两秒执行一次「续时」操作
    10. SCHEDULER.scheduleAtFixedRate(() -> {
    11. // 这里记得加 try-catch,否者报错后定时任务将不会再执行=-=
    12. Iterator<RedisLockDefinitionHolder> iterator = holderList.iterator();
    13. while (iterator.hasNext()) {
    14. RedisLockDefinitionHolder holder = iterator.next();
    15. // 判空
    16. if (holder == null) {
    17. iterator.remove();
    18. continue;
    19. }
    20. // 判断 key 是否还有效,无效的话进行移除
    21. if (redisTemplate.opsForValue().get(holder.getBusinessKey()) == null) {
    22. iterator.remove();
    23. continue;
    24. }
    25. // 超时重试次数,超过时给线程设定中断
    26. if (holder.getCurrentCount() > holder.getTryCount()) {
    27. holder.getCurrentTread().interrupt();
    28. iterator.remove();
    29. continue;
    30. }
    31. // 判断是否进入最后三分之一时间
    32. long curTime = System.currentTimeMillis();
    33. boolean shouldExtend = (holder.getLastModifyTime() + holder.getModifyPeriod()) <= curTime;
    34. if (shouldExtend) {
    35. holder.setLastModifyTime(curTime);
    36. redisTemplate.expire(holder.getBusinessKey(), holder.getLockTime(), TimeUnit.SECONDS);
    37. log.info("businessKey : [" + holder.getBusinessKey() + "], try count : " + holder.getCurrentCount());
    38. holder.setCurrentCount(holder.getCurrentCount() + 1);
    39. }
    40. }
    41. }, 0, 2, TimeUnit.SECONDS);
    42. }
    这段代码,用来实现设计图中虚线框的思想,避免一个请求十分耗时,导致提前释放了锁。
    这里加了「线程中断」Thread#interrupt,希望超过重试次数后,能让线程中断(未经严谨测试,仅供参考哈哈哈哈)
    不过建议如果遇到这么耗时的请求,还是能够从根源上查找,分析耗时路径,进行业务优化或其它处理,避免这些耗时操作。
    所以记得多打点 Log,分析问题时可以更快一点。

    五、开始测试

    在一个入口方法中,使用该注解,然后在业务中模拟耗时请求,使用了 Thread#sleep
    1. @GetMapping("/testRedisLock")
    2. @RedisLockAnnotation(typeEnum = RedisLockTypeEnum.ONE, lockTime = 3)
    3. public Book testRedisLock(@RequestParam("userId") Long userId) {
    4. try {
    5. log.info("睡眠执行前");
    6. Thread.sleep(10000);
    7. log.info("睡眠执行后");
    8. } catch (Exception e) {
    9. // log error
    10. log.info("has some error", e);
    11. }
    12. return null;
    13. }
    使用时,在方法上添加该注解,然后设定相应参数即可,根据 typeEnum 可以区分多种业务,限制该业务被同时操作。
    测试结果:
    1. 2020-04-04 14:55:50.864 INFO 9326 --- [nio-8081-exec-1] c.s.demo.controller.BookController : 睡眠执行前
    2. 2020-04-04 14:55:52.855 INFO 9326 --- [k-schedule-pool] c.s.demo.aop.lock.RedisLockAspect : businessKey : [Business1:1024], try count : 0
    3. 2020-04-04 14:55:54.851 INFO 9326 --- [k-schedule-pool] c.s.demo.aop.lock.RedisLockAspect : businessKey : [Business1:1024], try count : 1
    4. 2020-04-04 14:55:56.851 INFO 9326 --- [k-schedule-pool] c.s.demo.aop.lock.RedisLockAspect : businessKey : [Business1:1024], try count : 2
    5. 2020-04-04 14:55:58.852 INFO 9326 --- [k-schedule-pool] c.s.demo.aop.lock.RedisLockAspect : businessKey : [Business1:1024], try count : 3
    6. 2020-04-04 14:56:00.857 INFO 9326 --- [nio-8081-exec-1] c.s.demo.controller.BookController : has some error
    7. java.lang.InterruptedException: sleep interrupted
    8. at java.lang.Thread.sleep(Native Method) [na:1.8.0_221]
    这里测试的是重试次数过多,失败的场景,如果减少睡眠时间,就能让业务正常执行。
    如果同时请求,将会发现以下错误信息:
    2021-05-31-13-17-30-527603.png
    表示锁🔐的确生效了,避免了重复请求。

    六、总结

    对于耗时业务和核心数据,不能让重复的请求同时操作数据,避免数据的不正确,所以要使用分布式锁来对它们进行保护。
    再来梳理一下设计流程:
  1. 新建注解 @interface,在注解里设定入参标志
  2. 增加 AOP 切点,扫描特定注解
  3. 建立 @Aspect 切面任务,注册 bean 和拦截特定方法
  4. 特定方法参数 ProceedingJoinPoint,对方法 pjp.proceed() 前后进行拦截
  5. 切点前进行加锁,任务执行后进行删除 key