项目知识学习篇———数据清洗之kettle以及集成到java项目

一、kettle工具下载

链接: https://pan.baidu.com/s/13Mx-QJkY-5dY-nDIpuZAzw 提取码: x146

pdi-ce-8.1.0.0.zip就是kettle软件下载之后解压进入文件夹根目录点击Spoon.bat就能开启客户端

二、kettle使用

1.需要连接上两个数据库一个是你想要copy的库还有一个是你自己的库我这里是需要从一个oracle库拿到数据然后放入到我这边的mysql数据库

2.右键DB连接新建连接

3.我这里使用的是oracle和mysql需要两个连接包在我网盘链接里有 ojdbc14-10.2.0.2.0.jar和mysql-connector-java-5.1.41.jar 拷贝放入到kettle的lib下上一步就可连接成功

4.然后就是两个库的关联映射点击文件---新建----转换将以下两个表输入和插入/更新拖到转换之中用shift将两个连接起来效果如下

5.点击表输入连接上你想要拷贝数据库的源数据库获取sql语句就是查询你想要的表的数据

6.点击插入更新连接上你的本地数据库浏览找到对应表关联上两个表的唯一标示id 类似主键关联 kettle根据这个判断插入还是更新

然后下面关联上你想要更新的字段点确定就可以跑起来了

7.这样你就可以从一个库同步数据到你的库你可以在你本机windows下运行也可以在linux系统下部署kettle 然后可以新建job来调用转换实现定时更新数据

保存这个转换你可以得到一个.ktr文件纯Java编写的可以集成到Java项目之中

三、集成到java项目

1.以上的方式可以拿到数据不过部署到linux系统由于kettle有点大再去服务器中调用想想还是算了还是集成到Java项目中更合理

2.集成到java项目需要几个包

<dependency>
<groupId>pentaho-kettle</groupId>
<artifactId>kettle-core</artifactId>
<version>8.1.0.0-365</version>
</dependency>

<dependency>
<groupId>pentaho-kettle</groupId>
<artifactId>kettle-engine</artifactId>
<version>8.1.0.0-365</version>
</dependency>

<dependency>
<groupId>pentaho</groupId>
<artifactId>metastore</artifactId>
<version>8.1.0.0-365</version>
</dependency>

<dependency>
<groupId>org.apache</groupId>
<artifactId>commons-vfs2</artifactId>
<version>2.2</version>
</dependency>

<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>17.0</version>
</dependency>

<dependency>
<groupId>commons-codec</groupId>
<artifactId>commons-codec</artifactId>
<version>1.10</version>
</dependency>

<dependency>
<groupId>commons-logging</groupId>
<artifactId>commons-logging</artifactId>
<version>1.1.3</version>
</dependency>

<dependency>
<groupId>oracle</groupId>
<artifactId>ojdbc14</artifactId>
<version>10.2.0.2.0</version>
</dependency>

<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>5.1.41</version>
</dependency>

3.jar包我分享的网盘有国内镜像没有kettle相关包可以把我的包加入你maven的本地仓库中就好有些是没用的根据上面我给的pom加就好

4.创建一个service类调用kettle的转换生成的.ktr文件就可以集成到java中然后我们可以使用spring定时调度框架Task定时调用这个类就实现了定时更新数据是不是很方便啊嘿嘿嘿

@Service("getCompanyInfoService")
public class GetCompanyInfoService {

//main方法用于测试
public static void main(String[] args) {

//ktr文件路径 String filePath =CompanyAndVehicleInfo.companyPath; //指定xml解析

System.setProperty("javax.xml.parsers.DocumentBuilderFactory",
"com.sun.org.apache.xerces.internal.jaxp.DocumentBuilderFactoryImpl");
runKtr(filePath);

　　　　　　　　　　　　　　　　}

public static void runKtr() {
// ktr文件路径
String filePath = CompanyAndVehicleInfo.companyPath;
// 指定xml解析
System.setProperty("javax.xml.parsers.DocumentBuilderFactory",
"com.sun.org.apache.xerces.internal.jaxp.DocumentBuilderFactoryImpl");
try {
// 初始化
KettleEnvironment.init();
// 创建ktr元对象
TransMeta transMeta = new TransMeta(filePath);
// 创建ktr
Trans trans = new Trans(transMeta);
// 执行ktr
trans.execute(null);
// 等待执行完毕
trans.waitUntilFinished();
// 判断执行是否出错
if (trans.getErrors() > 0) {
System.err.println("文件执行出错！！！！！！！！");
}

} catch (KettleException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}

}

5.Task类

@Component
@EnableScheduling
public class CompanyAndCycleTask {
@Autowired
private GetCompanyInfoService getCompanyInfoService;

// 设置每天2.00
@Scheduled(cron = "0 0 2 * * ?")
@Scheduled(fixedRate = 1000 * 60 * 10)
public void getCompanyInformation() {
getCompanyInfoService.runKtr();

}

来源：oschina

链接：https://my.oschina.net/u/4319888/blog/3299207

标签

mysql

Oracle

apache

pentaho

xerces