1.背景

在做活动或者抢购场景,系统查询的请求并发量非常高
如果并发的访问数据库,会给数据库带来很大的压力,
这时候我们可以考虑将多个查询请求合并成一个查询请求返回给客户端,
比如:根据id查询爆款产品
并发10000次
3000次查询 id=1的产品
4000次查询id=2的产品
2000次查询id=3的产品
1000次查询id=4的产品
如果请求不合并,将到数据库查询10000次,
如果采用请求合并,只需到数据库查询1次,共查询出4个产品,然后按照id把结果给每一个请求,
这样大大降低了数据库的压力

2.代码

控制层代码:

  1.  /**
  2.      * 查询订单
  3.      *
  4.      * @return
  5.      */
  6.     @RequestMapping("/api/product")
  7.     public Object product(String id) throws ExecutionException, InterruptedException {
  8.         // 为了便于分析,设置一个线程号
  9.         Thread.currentThread().setName("thread-" + id);
  10.         Map<String, Object> map = productServiceImpl.queryList(id);
  11.         // 模拟随机耗时
  12.         ThreadUtil.sleepRandom();
  13.         return map;
  14.     }

业务实现层代码

  1. package com.ldp.jucproject.service.impl;
  3. import org.springframework.stereotype.Service;
  5. import javax.annotation.PostConstruct;
  6. import java.util.*;
  7. import java.util.concurrent.*;
  9. /**
  10.  * @author 姿势帝-博客园
  11.  * @address https://www.cnblogs.com/newAndHui/
  12.  * @WeChat 851298348
  13.  * @create 11/06 12:51
  14.  * @description
  15.  */
  16. @Service
  17. public class ProductServiceImpl {
  18.     /**
  19.      * 请求类,code为查询的共同特征,例如查询商品,通过不同id的来区分
  20.      * CompletableFuture将处理结果返回
  21.      */
  22.     class Request {
  23.         String code;
  24.         CompletableFuture completableFuture;
  25.     }
  27.     /**
  28.      * 存放请求的队列
  29.      */
  30.     LinkedBlockingQueue<Request> queue = new LinkedBlockingQueue(200);
  32.     @PostConstruct
  33.     public void init() {
  34.         // 建立定时执行的线程
  35.         ScheduledExecutorService scheduledExecutorService = Executors.newScheduledThreadPool(5);
  36.         scheduledExecutorService.scheduleAtFixedRate(() -> {
  37.             int size = queue.size();
  38.             //如果队列没数据,表示这段时间没有请求,直接返回
  39.             if (size == 0) {
  40.                 return;
  41.             }
  42.             List<Request> list = new ArrayList<>();
  43.             System.out.println("合并请求数:" + size);
  44.             //将队列的请求消费到一个集合保存
  45.             for (int i = 0; i < size; i++) {
  46.                 Request poll = queue.poll();
  47.                 if (poll == null) {
  48.                     System.out.println("无请求对象!");
  49.                     break;
  50.                 }
  51.                 list.add(poll);
  52.             }
  53.             //拿到我们需要去数据库查询的特征,保存为集合
  54.             List<String> listParam = new ArrayList<>();
  55.             for (Request request : list) {
  56.                 listParam.add(request.code);
  57.             }
  58.             //将参数传入service处理
  59.             Map<String, HashMap<String, Object>> response = queryByCodeBatch(listParam);
  60.             //将处理结果返回各自的请求
  61.             for (Request request : list) {
  62.                 Map<String, Object> result = response.get(request.code);
  63.                 //completableFuture.complete方法完成赋值,这一步执行完毕,阻塞的请求可以继续执行了
  64.                 request.completableFuture.complete(result);
  65.             }
  66.         }, 0, 30, TimeUnit.MILLISECONDS);
  67.     }
  69.     /**
  70.      * 模拟从数据库查询
  71.      *
  72.      * @param codes
  73.      * @return
  74.      */
  75.     public Map<String, HashMap<String, Object>> queryByCodeBatch(List<String> codes) {
  76.         Map<String, HashMap<String, Object>> result = new HashMap();
  77.         for (String code : codes) {
  78.             HashMap<String, Object> hashMap = new HashMap<>();
  79.             hashMap.put("productCode", new Random().nextInt(999999999));
  80.             hashMap.put("code", code);
  81.             hashMap.put("productNome", "苹果-" + new Random().nextInt(5));
  82.             hashMap.put("price", new Random().nextInt(100));
  83.             result.put(code, hashMap);
  84.         }
  85.         return result;
  86.     }
  88.     public Map<String, Object> queryList(String code) throws ExecutionException, InterruptedException {
  89.         Request request = new Request();
  90.         request.code = code;
  91.         CompletableFuture<Map<String, Object>> future = new CompletableFuture<>();
  92.         request.completableFuture = future;
  93.         //将对象传入队列
  94.         boolean offer = queue.offer(request);
  95.         if (!offer) {
  96.             // 放入队列失败,说明队列满了,返回系统忙
  97.             Map<String, Object> result = new HashMap<>();
  98.             result.put("code", "9999");
  99.             result.put("message", "系统忙!");
  100.             return result;
  101.         }
  102.         //如果这时候没完成赋值,那么就会阻塞,知道能够拿到值
  103.         return future.get();
  104.     }
  105. }

3.测试

模拟并发请求

  1.  @Test
  2.     void product() throws InterruptedException {
  3.         // 并发请求数
  4.         int num = 1000;
  5.         CountDownLatch countDownLatch = new CountDownLatch(num);
  6.         for (int i = 1; i <= num; i++) {
  7.             // 计数器减一
  8.             countDownLatch.countDown();
  9.             Integer id = i;
  10.             new Thread(() -> {
  11.                 try {
  12.                     String url = "http://localhost:8001/api/product?id=" + id;
  13.                     // 等待计数器归零,归零前都是处于阻塞状态
  14.                     System.out.println("待查询订单号=" + id);
  15.                     countDownLatch.await();
  16.                     HttpRequest request = HttpUtil.createGet(url);
  17.                     String response = request.execute().body();
  18.                     System.out.println("response=" + response);
  19.                 } catch (Exception e) {
  20.                     log.error("模拟并发出错:{}", e);
  21.                 }
  22.             }).start();
  23.         }
  24.         // 避免线程终止
  25.         Thread.sleep(90 * 1000);
  26.     }

4.完美