kettle

安装kettle测试数据库连接报错

我的未来我决定 提交于 2020-02-27 12:23:09
产生的原因就是因为kettle中缺少MySQL数据库连接的驱动程序,所以将mysql-connector-java-5.1.38-bin.jar这个驱动程序放到pdi-ce-7.0.0.0-25\data-integration\lib目录下,然后重新启动,然后接着测试就能够正确连接了 当然,有可能还是jdk环境的问题,如果没有解决看一下jdk环境配置好了没有。 来源: https://www.cnblogs.com/1gaoyu/p/12371414.html

kettle : String:couldn't convert string [] to a date using format [yyyy/MM/dd HH:mm:ss.SSS] on

若如初见. 提交于 2020-02-27 04:11:26
网上的解决办法: 1.如果你的数据是mysql导入的,点击以下链接: mysql导入的数据 2.又或者是这样的: 替换null值组件 不过对我都没有用。呜呜呜! 数据导入与预处理的实验。 以下是我自己的实验和解决过程,实验目的是合并四张excel表: 1.建立转换,创建Excel输入和Mirosoft Excel输出。 2.在Excel输入文件的“文件”标签卡中增加文件。 3.然后“内容”标签卡中获取工作表。 4.“字段”标签卡中获取字段。 是的,这里获取的字段很奇怪,应该是四组,大概每组对应一张Excel表(我刚好有四张表要合并),但我们实际上只需要文件1~7的字段。这里暂时先保持这个样子! 5.然后在“Microsoft Excel 输出”中,在“文件&工作表”标签卡中设置合并文件的保存路径及扩展名。 6.然后在“内容”标签卡中获取字段 。 同样获取到了四组类似字段,暂时保持这个样子。 7.执行转换报错。 正是题目所描述的错误。 开始解决错误,百度了一下,试了一下别人的方法,什么中间接一个“替换null值”的组件啊,可是一个都没成功。 最后我重新思考了一下这句话的意思,既然不能将string类型转化为date类型,那我干脆将字段“开课时间”的类型改为string类型,不让它转换类型了,这里将输入文件和输出文件中的字段都要进行修改,当然首先删除多余字段,只留1~7行的字段。

Kettle远程debug

旧巷老猫 提交于 2020-02-27 03:13:34
if "%PENTAHO_DI_JAVA_OPTIONS%"=="" set PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=256m" -Xdebug -Xnoagent -Djava.compiler=NONE -Xrunjdwp:transport=dt_socket,server=y,suspend=n,address=1044 来源: oschina 链接: https://my.oschina.net/goudingcheng/blog/3166303

Kettle8.2的安装与使用

柔情痞子 提交于 2020-02-26 22:26:11
准备工作 系统环境:Windows10 Kettle是Java语言开发的,运行需要Java运行环境,如果还没安装JDK: 点这里安装jdk1.8 如果已经安装jdk,直接进行下面的步骤。 1. 下载kettle8.2 下载文件名:pdi-ce-8.2.0.0-342.zip 下载地址 国内镜像(下载快,推荐使用) http://mirror.bit.edu.cn/pentaho/ 或者 https://community.hitachivantara.com/s/article/data-integration-kettle 或者 https://sourceforge.net/projects/pentaho/files/Data%20Integration/ 2.安装kettle8.2 解压kettle安装包:pdi-ce-8.2.0.0-342.zip 设置KETTLE_HOME环境变量(当然不设置也可以使用,但开启后不会自动生成.kettle目录) 右键此电脑-->属性-->高级系统设置-->环境变量-->系统环境变量下 点击新建 设置KETTLE_HOME 变量值为data-integration目录的路径 进入data-intergration目录,找到Spoon.bat文件, 修改 PENTAHO_DI_JAVA_OPTIONS="-Xms 1024 m

Kettle自定义jar包供javascript使用

我与影子孤独终老i 提交于 2020-02-26 18:43:40
我们都知道 Kettle 是用 Java 语言开发,并且可以在 JavaScript 里面直接调用 java 类方法。所以有些时候,我们可以自定义一些方法,来供 JavaScript 使用。 本篇文章有参考自: https://www.xiaominfo.com/2019/08/13/kettle-12/ 一、在 java 项目中创建工具类 <!--more--> 在项目中,创建 utils 工具类,比如 计算总页码 的一个方法。代码如下: public class PaginationUtils { /** * 计算得到总页码 * @param totalRecords 总记录数 * @param pageSize 分页大小 * @return 总页码 */ public static int totalPage(String totalRecords,String pageSize){ int totalPage=0; try{ BigDecimal records=new BigDecimal(totalRecords); BigDecimal size=new BigDecimal(pageSize); BigDecimal _tmp=records.add(size).subtract(new BigDecimal(1)); BigDecimal _tp=_tmp

Kettle启动报错:Error : could not open "...../jvm.cfg"

主宰稳场 提交于 2020-02-26 07:11:21
最近需要使用kettle,这款软件是一款绿色软件,无需安装,官网地址 点击 ,都知道官网下载忒慢,用国内镜像下载 点击 ,解压后找到Spoon.bat文件打开即可使用,如果是Linux下的话启动spoon.sh文件即可; 准备好了,打开时报错 网上说jdk配置有误,但是doc 窗口却没问题: 我的jdk是默认安装路径,在C盘,网上好多方法都不行,最后把kettle移到jdk目录下,启动正常 来源: CSDN 作者: @Iw 链接: https://blog.csdn.net/qq_43250374/article/details/104471705

Kettle数据迁移的安装及使用

丶灬走出姿态 提交于 2020-02-26 05:54:09
前提 一、安装JDK java环境 1、Kettle是纯Java编写的ETL开源工具,目前Kettle7和Kettle8都需要Java8或者以上才能正常运行。所以开运行Kettle前先检查Java环境是否正确配置。 很明显当前环境没有安装java JDK环境,那么接下来我们去java官网下载JDK安装包。 JDK下载网址: https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 根据自己的系统环境下载对应的JDK版本,这里是windows 64位的操作系统。 安装流程: 1)下载完安装,这里选择是的默认安装,可以根据自己的习惯安装到相应的位置,这个安装到哪个路径是可选的。 2)这里是Java安装,也可以点击更改更改到别的盘符下面去(我在此默认安装): 3)等Java安装完成之后整个JDK的安装就到此结束了,点击关闭就可以。 测试java是否安装成功,还明显还是没有安装成功,原因是没有添加JAVA环境变量。 二、接下来添加java环境变量计算机——>属性——>高级系统设置——>环境变量。 JAVA_HOME环境变量 现在需要新建系统变量,点击系统变量下的新建:变量名可以自命名,一般使用JAVA_HOME,变量值是你的JDK安装的目录(全路径),我的是默认在C盘下安装的:

Kettle学习系列之kettle的下载、安装和初步使用(windows平台下)(图文详解)

ぃ、小莉子 提交于 2020-02-18 19:39:54
  不多说,直接上干货! kettle的下载   žKettle可以在 http://kettle.pentaho.org/ 网站下载 http://sourceforge.net/projects/pentaho/files/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip/download ž   kettle的安装   下载kettle压缩包,因kettle为绿色软件,解压缩到任意本地路径即可。   我这里,在D:\SoftWare下,新建kettle,   解压   对于,在windows下配置jdk,我这里就不多赘述了。 kettle的初步使用   进入到Kettle目录,如果Kettle部署在windows环境下,双击运行spoon.bat或Kettle.exe文件,出现如下界面:   因为, 运行spoon   在不同的平台上运行spoon所支持的脚本:    Spoon.bat :在Windows平台上运行spoon;   Spoon.sh:在Linux、AppleOSX、Solaris平台上运行Spoon。   默认打开的是,大家Kettle安装目录下的,英文欢迎界面。 file:///D:/SoftWare/kettle/data-integration/docs/English/welcome/index.html

kettle的输出组件

人盡茶涼 提交于 2020-02-15 13:45:45
1、输出是转换里面的第二个分类。输出属于ETL的L,L就是Load加载。微软的Excel目前有两种后缀名的文件分别为:xls和xlsx。xls:2007年之前。xlsx:2007年之后。   Excel输出、Microsoft Excel输出的区别,Excel输出只能xls后缀名称的文件,Microsoft Excel输出可以生成xls后缀和xlsx后缀名称的文件的。 Excel输出,可以获取字段,如下所示: Microsoft Excel 输出,指定输出文件的格式,可以选择xlsx、xls格式的。 获取字段,如下所示: 2、文本文件输出,数据操作常见的格式是:TXT和CSV。 获取字段,如下所示: 3、SQL文件输出可以导出数据库表的结构和数据。 4、Kettle的表输出,就是把数据写入到指定的表! 5、 Kettle的 更新,就是把数据库已经存在的记录与数据流里面的记录进行比对,如果不同就进行更新。注意:如果记录不存在,则会出现错误! 6、 Kettle的 插入更新,就是把数据库已经存在的记录与数据流里面的记录进行比对,如果不同就进行更新。如果记录不存在,则会插入数据! 7、 自定义常量数据,就是生成key-value形式的常量数据。 自定义常量数据,指定字段常量的值。 删除,就是删除数据库表中指定条件的数据。 作者: 别先生 博客园: https://www.cnblogs