tags: springbatch

1.引言

经过前面几篇文章对Spring Batch的介绍，同时结合示例，从最简单的helloworld字符串输出，到读取文件到数据库的数据同步，然后是数据库到数据库，接着结合BeetlSql进一步简化数据库读写，再通过动态参数绑定实现增量同步，由浅到深，已经可以基本满足数据抽取，数据同步的工作了，下面是之前的文章列表：

批处理任务，一般做为后台服务定时运行，服务运维工作则是批处理服务之外的一项重要工作，包括服务运行如何监控，任务运行统计，任务执行日志查看等等。前面已说过，Spring Batch是批处理框架，并不是调度框架。调度框架,简单点可以使用quartz，crontab，而市面上已经有比较多功能完善的调度框架，经过比较，个人感觉xxl-job是比较容易上手，而且功能比较齐全，因此，这里介绍一下，使用xxl-job对Spring Batch的批处理任务进行调度，实现监控功能。

2.xxl-job介绍

xxl-job是一个轻量级的分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。系统架构设计合理，把调度系统与执行器分离，调度系统负责调度相关的逻辑，执行器则是具体任务的实现逻辑，开发者可以直接使用调度系统，然后实现自己任务逻辑来做为执行器即可，做到开箱即用。具体使用方式及详细说明，可见其官方文档

按照xxl-job的文档，先安装xxl-job的数据库，然后把xxl-job-admin启动起来，启动起来的页面如下：

调度与监控-spring batch(7)结合xxl-job进行批处理 - 图1

3.编写Spring Batch执行器

本示例是基于上一篇文章所用到的数据库增量同步的示例，只需要在原来的基础上添加一个执行器即可，本示例为spring-batch-xxl-executor。按照xxl-job的官方文档，里面有说明如何配置部署“执行器项目”。具体到本实例，配置，实现如下：

3.1 添加maven依赖

添加xxl-job的核心依赖，如下：

  1. <!-- xxl-job-core -->
  2. <dependency>
  3.     <groupId>com.xuxueli</groupId>
  4.     <artifactId>xxl-job-core</artifactId>
  5.     <version>2.0.2</version>
  6. </dependency>

3.2 添加执行器配置文件executor.properties

执行器配置需要填写包括执行器名称、调度系统地址等，如下：

  1. ### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
  2. xxl.job.admin.addresses=http://127.0.0.1:8089/xxl-job-admin
  4. ### xxl-job executor address
  5. xxl.job.executor.appname=${spring.application.name}
  6. xxl.job.executor.ip=
  7. xxl.job.executor.port=9999
  9. ### xxl-job, access token
  10. xxl.job.accessToken=
  12. ### xxl-job log path
  13. xxl.job.executor.logpath=logs
  14. ### xxl-job log retention days
  15. xxl.job.executor.logretentiondays=-1

3.3 执行器组件配置

添加java配置文件，获取以上的executor.properties配置。如下：

  1. @Configuration
  2. @ConfigurationProperties(prefix = "xxl.job")
  3. @PropertySource("classpath:/config/executor.properties")
  4. @Slf4j
  5. public class JobExecutorConfig {
  6.     @Value("${xxl.job.admin.addresses}")
  7.     private String adminAddresses;
  9.     ......略
  11.     @Bean(initMethod = "start", destroyMethod = "destroy")
  12.     public XxlJobSpringExecutor xxlJobExecutor() {
  13.         log.info(">>>>>>>>>>> xxl-job config init.");
  14.         XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
  15.         xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
  16.         xxlJobSpringExecutor.setAppName(appName);
  17.         xxlJobSpringExecutor.setIp(ip);
  18.         xxlJobSpringExecutor.setPort(port);
  19.         xxlJobSpringExecutor.setAccessToken(accessToken);
  20.         xxlJobSpringExecutor.setLogPath(logPath);
  21.         xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);
  23.         return xxlJobSpringExecutor;
  24.     }
  25. }

3.4 编写执行器

执行器，其实就是继承了IJobHandler类的实现，在execute方法实现任务实现逻辑即可。本示例中，只需要按之前测试的启动任务的逻辑实现即可。如下：

  1. @JobHandler(value="incrementUserJobHandler")
  2. @Component
  3. public class JobIncrementUserHandler extends IJobHandler {
  4.     @Autowired
  5.     private JobLauncherService jobLauncherService;
  7.     @Autowired
  8.     private IncrementService incrementService;
  10.     @Autowired
  11.     private Job incrementJob;
  12.     @Override
  13.     public ReturnT<String> execute(String s) throws Exception {
  14.         return JobUtil.runJob4Executor("incrementUser",incrementService,jobLauncherService,incrementJob);
  15.     }
  16. }

4.使用xxl-job进行Spring Batch任务调度

把xxl-job-admin和spring-batch-xxl-executor进行部署后（注意配置正确），就可以在xxl-job-admin界面中对任务进行调度。具体添加流程可参照xxl-job文档即可。简单说就是添加执行器spring-batch-xxl-executor，然后添加任务incrementUserJobHandler，指定执行的cron表达式，启动即可。执行任务后输出如下：

调度与监控-spring batch(7)结合xxl-job进行批处理 - 图2

5. 总结

本文基于数据库增量同步的示例，使用Spring Batch结合xxl-job，实现可监控的任务调度，使得批处理任务可维护性更强，希望需要使用Spring Batch进行批处理任务开发的人员有帮助。