解析json数据，并将解析后的数据通过list暂存和for遍历进行存储

当爬虫程序执行的时候碰到需要解析json类型的数据的时候，我们如果想要将json数据整理成我们需要的二维表的形式的数据的时候就需要考虑怎么将一个多个相同的实体类按照顺序存入到mysql数据库中，我在进行爬虫项目的时候就遇到了一个类似的问题，我在整理json数据的时候不知道如何去将解析好的数据通过实体类存入到mysql数据库中，最开始的时候我借鉴网上的代码，希望在实体类中遍历这些数据，但是最后没能实现我想要的结果，所以我放弃通过使用定制实体类来进行数据的导入了。
后来我通过定制Pipeline来进行遍历实体类数组来进行数据的导入。
下面我详细介绍一下我的思路和代码：思路基于mave工程，使用spring boot框架进行代码的配置和管理

第一步：

在MySQL中创建表institution_domain

  1. DROP TABLE IF EXISTS `institution_domain`;
  2. CREATE TABLE `institution_domain`  (
  3.   `id` int(255) NOT NULL AUTO_INCREMENT COMMENT '主键ID',
  4.   `name` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
  5.   `content` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '评估说明',
  6.   `domain` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '授权签字领域',
  7.   `description` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '说明',
  8.   `status` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '状态',
  9.   PRIMARY KEY (`id`) USING BTREE
  10. ) ENGINE = InnoDB AUTO_INCREMENT = 3599 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;
  12. SET FOREIGN_KEY_CHECKS = 1;

第二步：

创建实体类：

  1. import javax.persistence.Entity;
  2. import javax.persistence.GeneratedValue;
  3. import javax.persistence.GenerationType;
  4. import javax.persistence.Id;
  6. @Entity(name = "institution_domain")
  7. public class InstitutionDomain {
  8.     @Id
  9.     @GeneratedValue(strategy = GenerationType.IDENTITY)
  10.     private Long id;
  11.     private String name;
  12.     private String content;
  13.     private String domain;
  14.     private String description;
  15.     private String status;
  16.     //getter、setter和toString方法省略直接使用快捷键导入就行很方便
  17. }

第三步：

创建实体类的dao包接口：

  1. import org.springframework.data.jpa.repository.JpaRepository;
  3. public interface InstitutionDomainDao extends JpaRepository<InstitutionDomain, Long> {
  4. }

第四步：

创建service层的方法接口：

  1. import org.springframework.stereotype.Component;
  3. @Component
  4. public interface InstitutionDomainService {
  5.     /**
  6.      * fetch data by rule id
  7.      *
  8.      * @param institutionDomains rule id
  9.      */
  10.     void save(List<InstitutionDomain> institutionDomains);
  12.     /**
  13.      * fetch data by rule id
  14.      *
  15.      * @param institutionDomain rule id
  16.      * @return Result<institutionDomain>
  17.      */
  18.     List<InstitutionDomain> findInstitutionDomain(InstitutionDomain institutionDomain);
  19. }

第五步：

创建service接口的impl方法实现类：

  1. import org.springframework.beans.factory.annotation.Autowired;
  2. import org.springframework.data.domain.Example;
  3. import org.springframework.data.domain.Page;
  4. import org.springframework.data.domain.PageRequest;
  5. import org.springframework.stereotype.Service;
  7. import java.util.List;
  9. @Service
  10. public class InstitutionDomainServiceImpl implements InstitutionDomainService {
  12.     private InstitutionDomainDao institutionDomainDao;
  13.     @Autowired
  14.     public void setInstitutionDomain(InstitutionDomainDao institutionDomainDao) {
  15.         this.institutionDomainDao = institutionDomainDao;
  16.     }
  18.     @Override
  19.     public void save(List<InstitutionDomain> institutionDomains) {
  20.         //根据签字人姓名和所属机构查询数据
  21.         InstitutionDomain param = new InstitutionDomain();
  22.         //遍历json数组
  23.         for (InstitutionDomain institutionDomain:institutionDomains){
  24.             param.setName(institutionDomain.getName());
  25.             //执行查询
  26.             List<InstitutionDomain> list = this.findInstitutionDomain(param);
  27.             //判断查询结果是否为空
  28.             if (list.size() == 0){
  29.                 this.institutionDomainDao.save(institutionDomain);
  30.             }
  31.         }
  32.     }
  34.     @Override
  35.     public List<InstitutionDomain> findInstitutionDomain(InstitutionDomain institutionDomain) {
  36.         //设置查询条件
  37.         Example<InstitutionDomain> example = Example.of(institutionDomain);
  38.         return this.institutionDomainDao.findAll(example);
  39.     }
  40. }

第六步：

定制Pipeline实现遍历解析json数据后形成的实体类：

  1. import org.springframework.beans.factory.annotation.Autowired;
  2. import org.springframework.stereotype.Component;
  3. import us.codecraft.webmagic.ResultItems;
  4. import us.codecraft.webmagic.Task;
  5. import us.codecraft.webmagic.pipeline.Pipeline;
  7. import java.util.List;
  9. @Component
  10. public class InstitutionDomainPipeline implements Pipeline {
  11.     private InstitutionDomainService institutionDomainService;
  13.     @Autowired
  14.     public void setInstitutionDomainService(InstitutionDomainService institutionDomainService) {
  15.         this.institutionDomainService = institutionDomainService;
  16.     }
  18.     @Override
  19.     public void process(ResultItems resultItems, Task task) {
  20.         //获取封装好的pojo对象
  21.         List<InstitutionDomain> institutionDomains = resultItems.get("institutionDomains");
  22.         //判断数据是否为不空
  23.         if (institutionDomains != null) {
  24.             this.institutionDomainService.save(institutionDomains);
  25.         }
  26.     }
  27. }

第七步：

创建application类，需要注意的是application类需要处于所有类的外面，他是spring boot项目的启动入口：

  1. import org.springframework.boot.SpringApplication;
  2. import org.springframework.boot.autoconfigure.SpringBootApplication;
  3. import org.springframework.scheduling.annotation.EnableScheduling;
  5. @SpringBootApplication
  6. @EnableScheduling
  7. public class Application {
  8.     public static void main(String[] args) {
  9.         SpringApplication.run(Application.class, args);
  10.     }
  11. }

最后一步:

重写processor类，进行页面解析：

  1. @Component
  2. public class JobProcessor implements PageProcessor {
  4.     @Override
  5.     public void process(Page page) {
  6.         //判断url的类型
  7.         String queryData = page.getUrl().regex("query\\w+").toString();
  8.         String domainInfo = "queryPublishSignatory";
  9.         if (queryData.equals(domainInfo)) {
  10.             //判断url目的地址是不是queryPublishSignatory
  11.             this.saveDomainInfo(page);
  12.         } 
  13.     }
  15.     private void saveDomainInfo(Page page) {
  16.         //创建一个机构基本信息的实体类查询机构的基本信息，准备整合数据
  17.         InstitutionInfo param = new InstitutionInfo();
  19.         //创建认可的签字人及领域实体类对象
  20.         List<InstitutionDomain> institutionDomains = new ArrayList<>();
  22.         //解析json数据, 分离json数据
  23.         Json json = page.getJson();
  25.         //获取json数据中的所有姓名的值
  26.         List<String> nameCh = json.jsonPath("$.data[*].nameCh").all();
  27.         //获取json数据中的所有评估说明的值
  28.         List<String> content = json.jsonPath("$.data[*].assessmentcontent").all();
  29.         //获取json数据中的所有授权签字领域的值
  30.         List<String> authorizedFieldCh = json.jsonPath("$.data[*].authorizedFieldCh").all();
  31.         //获取json数据中的所有说明的值
  32.         List<String> note = json.jsonPath("$.data[*].note").all();
  33.         //获取json数据中的所有状态的值status
  34.         List<String> status;
  35.         status = json.jsonPath("$.data[*].status").all();
  37.        for (int num = 0; num < nameCh.size(); num++) {
  38.                 //创建认可的签字人及领域实体类对象
  39.                 InstitutionDomain institutionDomain = new InstitutionDomain();
  41.                 institutionDomain.setName(nameCh.get(num));
  42.                 institutionDomain.setContent(content.get(num));
  43.                 institutionDomain.setDomain(authorizedFieldCh.get(num));
  44.                 institutionDomain.setDescription(note.get(num));
  45.                 if ("0".equals(status.get(num))) {
  46.                     institutionDomain.setStatus("有效");
  47.                 } else {
  48.                     institutionDomain.setStatus("无效");
  49.                 }
  50.                 institutionDomains.add(institutionDomain);
  51.        }
  52.        page.putField("institutionDomains", institutionDomains);
  54.     }
  55.     private Site site = Site.me()
  56.         //设置编码格式
  57.         .setCharset("utf8")
  58.         //设置超时时间
  59.         .setTimeOut(10 * 1000)
  60.         //设置重试的间隔时间
  61.         .setRetrySleepTime(3 * 1000)
  62.         //设置重试的次数
  63.         .setRetryTimes(3);
  65.     @Override
  66.     public Site getSite() {
  67.         return site;
  68.     }
  69.     private InstitutionDomainPipeline institutionDomainPipeline;
  70.     @Autowired
  71.     public void setInstitutionDomainPipeline(InstitutionDomainPipeline institutionDomainPipeline) {
  72.         this.institutionDomainPipeline = institutionDomainPipeline;
  73.     }
  74.     @Scheduled(initialDelay = 1000, fixedDelay = 100 * 1000)
  75.     public void process() {
  77.     //开启线程
  78.     Spider.create(new JobProcessor()) 
  79.         .addUrl("https://las.cnas.org.cn/LAS/publish/queryPublishSignatory.action?baseinfoId=b9823e479f524538aa2eeada55cef10e")
  80.         .setScheduler(new QueueScheduler().setDuplicateRemover(new BloomFilterDuplicateRemover(100000)))
  81.         .thread(10)
  82.         .addPipeline(this.institutionDomainPipeline)
  83.         .run();
  85.     }
  86. }

按照这个流程就能够实现将List<实体类名称>类型的数据全部存到mysql数据库里面了。
这些代码是我完成的项目中的一部分代码，但是应该能够实现我说的这些功能，部分improt的结果我没有附上去，那部分就是自己书写的类的路径，大家可以自行添加。
希望能够给大家提供帮助。有好的想法也希望能够和我进行交流谢谢大家。