发布于: 2020 年 05 月 02 日
kettle（Pentaho Data Integration） 使用"最佳"实践 - 图1

kettle 是一款基于JAVA的开源ETL工具，现在它的名字应该叫做Pentaho Data Integration(PDI)了, 非常优秀的一款工具，功能非常多，今天我们主要演示其Java API案例

案例

通过PDI工具，完成一个Job，主要目标是将表中的数据导出到dat文件中，导出的文件名字以user-开头，内容使用|作为分割符，后面的格式是YYYYMMDD后缀为dat. 例:user-20200502.dat

下载PDI

https://sourceforge.net/projects/pentaho/files/latest/download?aliId=137249511

启动PDI

linux环境下通过命令sh spoon.sh命令来启动，打开后如果对英文不熟悉，可以在工具菜单页修改默认语言，重启后生效

开始

打开之后，映入眼帘的是Job（作业）和Transformation（转换）这里我们新建一个Job，作业中包含一个transformation，Job的作用是为了控制过程，transformation在这里启到的作用是将表中的数据写入到dat文件中

Job如下：
kettle（Pentaho Data Integration） 使用"最佳"实践 - 图2

transformation如下:
kettle（Pentaho Data Integration） 使用"最佳"实践 - 图3

整个过程非常简单，托拉拽就完成了，特别说明几处要点。

双击表输入弹出如下窗口，没有数据库连接的情况下，需要点击数据库连接右侧的新建按钮，注意选择Generic database,如果提示找不到驱动，那么下载一个放到PDI的lib目录下重启即可

kettle（Pentaho Data Integration） 使用"最佳"实践 - 图4

kettle（Pentaho Data Integration） 使用"最佳"实践 - 图5

双击文本文件输出，文件页签中文件名称栏位可以制定文件路径，文件名可以是部分文件名，如下图的user-,这里扩展名栏位我们输入dat,指定日期格式栏位打钩，日期格式栏位是yyyyMMdd，在结果中添加文件名栏位打钩，显示文件名点击后可以预览最终生成的文件名称。

内容页签中分割符栏位修改为|

字段页签中一定要点击一下获取字段，否则字段页签全部为空，Job跑起来的时候也会报错。

kettle（Pentaho Data Integration） 使用"最佳"实践 - 图6

kettle（Pentaho Data Integration） 使用"最佳"实践 - 图7

kettle（Pentaho Data Integration） 使用"最佳"实践 - 图8

Java工程结构

kettle（Pentaho Data Integration） 使用"最佳"实践 - 图9

Maven依赖

本次案例主要依赖如下jar包，其实也是kettle主要的依赖jar

  2. <dependency>
  3.             <groupId>org.pentaho</groupId>
  4.             <artifactId>kettle-core</artifactId>
  5.             <version>9.0.0.0-423</version>
  6.             <scope>system</scope>
  7.             <systemPath>${project.basedir}/src/main/resources/lib/kettle-core-9.0.0.0-423.jar</systemPath>
  8.         </dependency>
  10.         <dependency>
  11.             <groupId>org.pentaho</groupId>
  12.             <artifactId>kettle-engine</artifactId>
  13.             <version>9.0.0.0-423</version>
  14.             <scope>system</scope>
  15.             <systemPath>${project.basedir}/src/main/resources/lib/kettle-engine-9.0.0.0-423.jar</systemPath>
  16.         </dependency>
  18.         <dependency>
  19.             <groupId>org.pentaho</groupId>
  20.             <artifactId>metastore</artifactId>
  21.             <version>9.0.0.0-423</version>
  22.             <scope>system</scope>
  23.             <systemPath>${project.basedir}/src/main/resources/lib/metastore-9.0.0.0-423.jar</systemPath>
  24.         </dependency>
  26.         <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-vfs2 -->
  27.         <dependency>
  28.             <groupId>org.apache.commons</groupId>
  29.             <artifactId>commons-vfs2</artifactId>
  30.             <version>2.1</version>
  31.         </dependency>
  33.         <!-- https://mvnrepository.com/artifact/com.google.guava/guava -->
  34.         <dependency>
  35.             <groupId>com.google.guava</groupId>
  36.             <artifactId>guava</artifactId>
  37.             <version>29.0-jre</version>
  38.         </dependency>
  40.         <!-- https://mvnrepository.com/artifact/commons-io/commons-io -->
  41.         <dependency>
  42.             <groupId>commons-io</groupId>
  43.             <artifactId>commons-io</artifactId>
  44.             <version>2.6</version>
  45.         </dependency>
  47.         <!-- https://mvnrepository.com/artifact/commons-lang/commons-lang -->
  48.         <dependency>
  49.             <groupId>commons-lang</groupId>
  50.             <artifactId>commons-lang</artifactId>
  51.             <version>2.6</version>
  52.         </dependency>
  54.         <!-- https://mvnrepository.com/artifact/commons-codec/commons-codec -->
  55.         <dependency>
  56.             <groupId>commons-codec</groupId>
  57.             <artifactId>commons-codec</artifactId>
  58.             <version>1.14</version>
  59.         </dependency>
  61.         <!-- https://mvnrepository.com/artifact/org.projectlombok/lombok -->
  62.         <dependency>
  63.             <groupId>org.projectlombok</groupId>
  64.             <artifactId>lombok</artifactId>
  65.             <version>1.18.12</version>
  66.             <scope>provided</scope>
  67.         </dependency>
  69.         <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java -->
  70.         <dependency>
  71.             <groupId>mysql</groupId>
  72.             <artifactId>mysql-connector-java</artifactId>
  73.             <version>8.0.20</version>
  74.         </dependency>


运行Job

  2. package com.example.fg.kettle;
  5. import lombok.extern.slf4j.Slf4j;
  6. import org.pentaho.di.core.KettleEnvironment;
  7. import org.pentaho.di.core.Result;
  8. import org.pentaho.di.core.exception.KettleException;
  9. import org.pentaho.di.core.util.EnvUtil;
  10. import org.pentaho.di.job.Job;
  11. import org.pentaho.di.job.JobMeta;
  12. import org.pentaho.di.trans.Trans;
  13. import org.pentaho.di.trans.TransMeta;
  15. import java.io.File;
  16. import java.net.URISyntaxException;
  17. import java.net.URL;
  18. import java.util.HashMap;
  19. import java.util.Map;
  21. /*
  22.   @author cattle -  稻草鸟人
  23.   @date 2020/4/30 下午5:09
  24.  /
  25. @Slf4j
  26. public class KettleTools {
  29.     public static void runJob(String jobName, Map<String, String> variable) {
  30.         try {
  31.             KettleEnvironment.init();
  32.             JobMeta jobMeta = new JobMeta(jobName, null);
  33.             Job job = new Job(null, jobMeta);
  34.             variable.forEach((key, value) -> {
  35.                 job.setVariable(key, value);
  36.             });
  37.             job.start();
  38.             job.waitUntilFinished();
  39.             if (job.getErrors() > 0) {
  40.                 throw new Exception("There were errors during job execution");
  41.             }
  42.         } catch (Exception e) {
  43.             log.error("runJob exception，jobName={}， exception={}", jobName, e);
  44.         }
  45.     }
  47.     public static void main(String[] args) throws URISyntaxException {
  48.         URL url = KettleTools.class.getResource("/kettle/kettle-job-demo.kjb");
  49.         runJob(new File(url.toURI()).getAbsolutePath(), new HashMap<>());
  50.     }
  51. }

执行完成后，就可以在桌面上看到一个user-20200502.dat的文件，内容如下:

kettle（Pentaho Data Integration） 使用"最佳"实践 - 图10

参考文档

[^PDI document]: Latest Pentaho Data Integration (aka Kettle) Documentation+Documentation)](https://wiki.pentaho.com/display/EAI/Latest+Pentaho+Data+Integration+(aka+Kettle)+Documentation))

源码地址

https://github.com/cattles/fucking-great-kettle.git

kettle（Pentaho Data Integration） 使用"最佳"实践 - 图11