Java
对于异步方法调用,从Spring3开始提供了@Async注解,该注解可以被标在方法上,以便异步地调用该方法。调用者将在调用时立即返回,方法的实际执行将提交给Spring TaskExecutor的任务中,由指定的线程池中的线程执行。
在项目应用中,@Async调用线程池,推荐使用自定义线程池的模式。自定义线程池常用方案:重新实现接口AsyncConfigurer

应用场景

同步

同步就是整个处理过程顺序执行,当各个过程都执行完毕,并返回结果。

异步

异步调用则是只是发送了调用的指令,调用者无需等待被调用的方法完全执行完毕;而是继续执行下面的流程。
例如, 在某个调用中,需要顺序调用 A, B, C三个过程方法;如他们都是同步调用,则需要将他们都顺序执行完毕之后,方算作过程执行完毕;如B为一个异步的调用方法,则在执行完A之后,调用B,并不等待B完成,而是执行开始调用C,待C执行完毕之后,就意味着这个过程执行完毕了。
在Java中,一般在处理类似的场景之时,都是基于创建独立的线程去完成相应的异步调用逻辑,通过主线程和不同的业务子线程之间的执行流程,从而在启动独立的线程之后,主线程继续执行而不会产生停滞等待的情况。

Spring 已经实现的线程池

  • SimpleAsyncTaskExecutor:不是真的线程池,这个类不重用线程,默认每次调用都会创建一个新的线程。
  • SyncTaskExecutor:这个类没有实现异步调用,只是一个同步操作。只适用于不需要多线程的地方。
  • ConcurrentTaskExecutorExecutor的适配类,不推荐使用。如果ThreadPoolTaskExecutor不满足要求时,才用考虑使用这个类。
  • SimpleThreadPoolTaskExecutor:是QuartzSimpleThreadPool的类。线程池同时被quartz和非quartz使用,才需要使用此类。
  • ThreadPoolTaskExecutor:最常使用,推荐。其实质是对java.util.concurrent.ThreadPoolExecutor的包装。

异步的方法有

  • 最简单的异步调用,返回值为void
  • 带参数的异步调用,异步方法可以传入参数
  • 存在返回值,常调用返回Future

    Spring中启用@Async

    2021-09-07-10-52-13-189521.jpeg ```java // 基于Java配置的启用方式: @Configuration @EnableAsync public class SpringAsyncConfig { … }

// Spring boot启用: @EnableAsync @EnableTransactionManagement public class SettlementApplication { public static void main(String[] args) { SpringApplication.run(SettlementApplication.class, args); } }

  1. <a name="vuAf8"></a>
  2. ## `@Async`应用默认线程池
  3. Spring应用默认的线程池,指在`@Async`注解在使用时,不指定线程池的名称。查看源码,`@Async`的默认线程池为`SimpleAsyncTaskExecutor`。
  4. <a name="V8K0p"></a>
  5. ### 无返回值调用
  6. 基于`@Async`无返回值调用,直接在使用类,使用方法(建议在使用方法)上,加上注解。若需要抛出异常,需手动new一个异常抛出。<br />![2021-09-07-10-52-13-273840.jpeg](https://cdn.nlark.com/yuque/0/2021/jpeg/396745/1630983407819-be19e938-52d2-48a2-af50-3e73e88fce1e.jpeg#clientId=u2575e060-0c09-4&crop=0&crop=0&crop=1&crop=1&from=ui&id=muNzq&margin=%5Bobject%20Object%5D&name=2021-09-07-10-52-13-273840.jpeg&originHeight=513&originWidth=1080&originalType=binary&ratio=1&rotation=0&showTitle=false&size=94172&status=done&style=none&taskId=ub735c628-0bbb-4b88-b730-b9f692af931&title=)
  7. ```java
  8. /**
  9. * 带参数的异步调用 异步方法可以传入参数
  10. * 对于返回值是void,异常会被AsyncUncaughtExceptionHandler处理掉
  11. * @param s
  12. */
  13. @Async
  14. public void asyncInvokeWithException(String s) {
  15. log.info("asyncInvokeWithParameter, parementer={}", s);
  16. throw new IllegalArgumentException(s);
  17. }

有返回值Future调用

2021-09-07-10-52-13-374842.jpeg

  1. /**
  2. * 异常调用返回Future
  3. * 对于返回值是Future,不会被AsyncUncaughtExceptionHandler处理,需要我们在方法中捕获异常并处理
  4. * 或者在调用方在调用Futrue.get时捕获异常进行处理
  5. *
  6. * @param i
  7. * @return
  8. */
  9. @Async
  10. public Future<String> asyncInvokeReturnFuture(int i) {
  11. log.info("asyncInvokeReturnFuture, parementer={}", i);
  12. Future<String> future;
  13. try {
  14. Thread.sleep(1000 * 1);
  15. future = new AsyncResult<String>("success:" + i);
  16. throw new IllegalArgumentException("a");
  17. } catch (InterruptedException e) {
  18. future = new AsyncResult<String>("error");
  19. } catch(IllegalArgumentException e){
  20. future = new AsyncResult<String>("error-IllegalArgumentException");
  21. }
  22. return future;
  23. }

有返回值CompletableFuture调用

CompletableFuture并不使用@Async注解,可达到调用系统线程池处理业务的功能。
JDK5新增了Future接口,用于描述一个异步计算的结果。虽然 Future 以及相关使用方法提供了异步执行任务的能力,但是对于结果的获取却是很不方便,只能通过阻塞或者轮询的方式得到任务的结果。阻塞的方式显然和异步编程的初衷相违背,轮询的方式又会耗费无谓的 CPU 资源,而且也不能及时地得到计算结果。

  • CompletionStage代表异步计算过程中的某一个阶段,一个阶段完成以后可能会触发另外一个阶段
  • 一个阶段的计算执行可以是一个FunctionConsumer或者Runnable。比如:

    1. stage.thenApply(x -> square(x)).thenAccept(x -> System.out.print(x)).thenRun(() -> System.out.println())
  • 一个阶段的执行可能是被单个阶段的完成触发,也可能是由多个阶段一起触发

在Java8中,CompletableFuture 提供了非常强大的Future的扩展功能,可以简化异步编程的复杂性,并且提供了函数式编程的能力,可以通过回调的方式处理计算结果,也提供了转换和组合 CompletableFuture 的方法。

  • 它可能代表一个明确完成的Future,也有可能代表一个完成阶段( CompletionStage ),它支持在计算完成以后触发一些函数或执行某些动作。
  • 它实现了FutureCompletionStage接口

2021-09-07-10-52-13-464880.jpeg

  1. /**
  2. * 数据查询线程池
  3. */
  4. private static final ThreadPoolExecutor SELECT_POOL_EXECUTOR = new ThreadPoolExecutor(10, 20, 5000,
  5. TimeUnit.MILLISECONDS, new LinkedBlockingQueue<>(1024), new ThreadFactoryBuilder().setNameFormat("selectThreadPoolExecutor-%d").build());
  6. // tradeMapper.countTradeLog(tradeSearchBean)方法表示,获取数量,返回值为int
  7. // 获取总条数
  8. CompletableFuture<Integer> countFuture = CompletableFuture
  9. .supplyAsync(() -> tradeMapper.countTradeLog(tradeSearchBean), SELECT_POOL_EXECUTOR);
  10. // 同步阻塞
  11. CompletableFuture.allOf(countFuture).join();
  12. // 获取结果
  13. int count = countFuture.get();

默认线程池的弊端

在线程池应用中,参考阿里巴巴java开发规范:线程池不允许使用Executors去创建,不允许使用系统默认的线程池,推荐通过ThreadPoolExecutor的方式,这样的处理方式让开发的工程师更加明确线程池的运行规则,规避资源耗尽的风险。
Executors各个方法的弊端:

  • newFixedThreadPoolnewSingleThreadExecutor:主要问题是堆积的请求处理队列可能会耗费非常大的内存,甚至OOM。
  • newCachedThreadPoolnewScheduledThreadPool:要问题是线程数最大数是Integer.MAX_VALUE,可能会创建数量非常多的线程,甚至OOM。

@Async默认异步配置使用的是SimpleAsyncTaskExecutor,该线程池默认来一个任务创建一个线程,若系统中不断的创建线程,最终会导致系统占用内存过高,引发OutOfMemoryError错误。针对线程创建问题,SimpleAsyncTaskExecutor提供了限流机制,通过concurrencyLimit属性来控制开关,当concurrencyLimit>=0时开启限流机制,默认关闭限流机制即concurrencyLimit=-1,当关闭情况下,会不断创建新的线程来处理任务。基于默认配置,SimpleAsyncTaskExecutor并不是严格意义的线程池,达不到线程复用的功能。

@Async应用自定义线程池

自定义线程池,可对系统中线程池更加细粒度的控制,方便调整线程池大小配置,线程执行异常控制和处理。在设置系统自定义线程池代替默认线程池时,虽可通过多种模式设置,但替换默认线程池最终产生的线程池有且只能设置一个(不能设置多个类继承AsyncConfigurer)自定义线程池有如下模式:

  • 重新实现接口AsyncConfigurer
  • 继承AsyncConfigurerSupport
  • 配置由自定义的TaskExecutor替代内置的任务执行器

通过查看Spring源码关于@Async的默认调用规则,会优先查询源码中实现AsyncConfigurer这个接口的类,实现这个接口的类为AsyncConfigurerSupport。但默认配置的线程池和异步处理方法均为空,所以,无论是继承或者重新实现接口,都需指定一个线程池。且重新实现 public Executor getAsyncExecutor()方法。

实现接口AsyncConfigurer

2021-09-07-10-52-13-644845.jpeg

  1. @Configuration
  2. public class AsyncConfiguration implements AsyncConfigurer {
  3. @Bean("kingAsyncExecutor")
  4. public ThreadPoolTaskExecutor executor() {
  5. ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
  6. int corePoolSize = 10;
  7. executor.setCorePoolSize(corePoolSize);
  8. int maxPoolSize = 50;
  9. executor.setMaxPoolSize(maxPoolSize);
  10. int queueCapacity = 10;
  11. executor.setQueueCapacity(queueCapacity);
  12. executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
  13. String threadNamePrefix = "kingDeeAsyncExecutor-";
  14. executor.setThreadNamePrefix(threadNamePrefix);
  15. executor.setWaitForTasksToCompleteOnShutdown(true);
  16. // 使用自定义的跨线程的请求级别线程工厂类19 int awaitTerminationSeconds = 5;
  17. executor.setAwaitTerminationSeconds(awaitTerminationSeconds);
  18. executor.initialize();
  19. return executor;
  20. }
  21. @Override
  22. public Executor getAsyncExecutor() {
  23. return executor();
  24. }
  25. @Override
  26. public AsyncUncaughtExceptionHandler getAsyncUncaughtExceptionHandler() {
  27. return (ex, method, params) -> ErrorLogger.getInstance().log(String.format("执行异步任务'%s'", method), ex);
  28. }
  29. }

继承AsyncConfigurerSupport

2021-09-07-10-52-13-745876.jpeg

  1. @Configuration
  2. @EnableAsync
  3. class SpringAsyncConfigurer extends AsyncConfigurerSupport {
  4. @Bean
  5. public ThreadPoolTaskExecutor asyncExecutor() {
  6. ThreadPoolTaskExecutor threadPool = new ThreadPoolTaskExecutor();
  7. threadPool.setCorePoolSize(3);
  8. threadPool.setMaxPoolSize(3);
  9. threadPool.setWaitForTasksToCompleteOnShutdown(true);
  10. threadPool.setAwaitTerminationSeconds(60 * 15);
  11. return threadPool;
  12. }
  13. @Override
  14. public Executor getAsyncExecutor() {
  15. return asyncExecutor;
  16. }
  17. @Override
  18. public AsyncUncaughtExceptionHandler getAsyncUncaughtExceptionHandler() {
  19. return (ex, method, params) -> ErrorLogger.getInstance().log(String.format("执行异步任务'%s'", method), ex);
  20. }
  21. }

配置自定义的TaskExecutor

由于AsyncConfigurer的默认线程池在源码中为空,Spring通过beanFactory.getBean(TaskExecutor.class)先查看是否有线程池,未配置时,通过beanFactory.getBean(DEFAULT_TASK_EXECUTOR_BEAN_NAME, Executor.class),又查询是否存在默认名称为TaskExecutor的线程池。所以可在项目中,定义名称为TaskExecutor的bean生成一个默认线程池。也可不指定线程池的名称,申明一个线程池,本身底层是基于TaskExecutor.class便可。
比如:

  1. Executor.class:ThreadPoolExecutorAdapter->ThreadPoolExecutor->AbstractExecutorService->ExecutorService->Executor

这样的模式,最终底层为Executor.class,在替换默认的线程池时,需设置默认的线程池名称为TaskExecutor

  1. TaskExecutor.class:ThreadPoolTaskExecutor->SchedulingTaskExecutor->AsyncTaskExecutor->TaskExecutor

这样的模式,最终底层为TaskExecutor.class,在替换默认的线程池时,可不指定线程池名称。
2021-09-07-10-52-13-847841.jpeg

  1. @EnableAsync
  2. @Configuration
  3. public class TaskPoolConfig {
  4. @Bean(name = AsyncExecutionAspectSupport.DEFAULT_TASK_EXECUTOR_BEAN_NAME)
  5. public Executor taskExecutor() {
  6. ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
  7. //核心线程池大小
  8. executor.setCorePoolSize(10);
  9. //最大线程数
  10. executor.setMaxPoolSize(20);
  11. //队列容量
  12. executor.setQueueCapacity(200);
  13. //活跃时间
  14. executor.setKeepAliveSeconds(60);
  15. //线程名字前缀
  16. executor.setThreadNamePrefix("taskExecutor-");
  17. executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
  18. return executor;
  19. }
  20. @Bean(name = "new_task")
  21. public Executor taskExecutor() {
  22. ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();
  23. //核心线程池大小
  24. executor.setCorePoolSize(10);
  25. //最大线程数
  26. executor.setMaxPoolSize(20);
  27. //队列容量
  28. executor.setQueueCapacity(200);
  29. //活跃时间
  30. executor.setKeepAliveSeconds(60);
  31. //线程名字前缀
  32. executor.setThreadNamePrefix("taskExecutor-");
  33. executor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
  34. return executor;
  35. }
  36. }

多个线程池

@Async注解,使用系统默认或者自定义的线程池(代替默认线程池)。可在项目中设置多个线程池,在异步调用时,指明需要调用的线程池名称,如@Async("new_task")

@Async部分重要源码解析

源码-获取线程池方法
image.png
源码-设置默认线程池defaultExecutor,默认是空的,当重新实现接口AsyncConfigurergetAsyncExecutor()时,可以设置默认的线程池。
image.png
image.png
源码-都没有找到项目中设置的默认线程池时,采用Spring 默认的线程池
image.png