spoon

E:\迅雷下载\Kettle-pdi-ce-7.1.0.0-12\data-integration 运行spoon.bat 新建-数据库 报错内容： org.pentaho.ui.xul.XulException: org.pentaho.ui.xul.XulException: java.lang.reflect.InvocationTargetException at org.pentaho.ui.xul.impl.AbstractXulLoader.loadXul(AbstractXulLoader.java: 134 ) at org.pentaho.ui.xul.swt.SwtXulLoader.loadXul(SwtXulLoader.java: 128 ) at org.pentaho.ui.xul.swt.SwtXulLoader.loadXul(SwtXulLoader.java: 122 ) at org.pentaho.ui.xul.impl.AbstractXulLoader.loadXul(AbstractXulLoader.java: 242 ) at org.pentaho.ui.database.DatabaseConnectionDialog.getSwtInstance(DatabaseConnectionDialog.java: 60 ) at

描述 Kettle是一款开源的 ETL 工具，采用 JAVA 语言编写。 特性 高效稳定，支持多种类型的数据格式，如：MySQL，Oracle，PostGreSQL，CSV 等。 可视化设计。 概念 Transformation（转换）：数据抽取/迁移主要设计的对象，负责定义数据从数据源到目标地流动。各步骤并发执行。 Job（作业）：支持组合多个转换，即流程控制，支持定时任务执行。各步骤按一定规则顺序执行，可定义为并行执行。 Step（步骤）：最核心的概念，转换和作业都是由步骤组成，数据转换和数据清洗都是在步骤中完成，步骤是 Kettle 具体做事情的对象。 hop（跳）：即连接，步骤与步骤之间的连接称之为跳。代表数据流量。 安装 Kettle 无需安装，下载压缩包后解压即可使用。 9.0.0版本下载链接： https://pan.baidu.com/s/1gnAhLiLtOyYDNbPIA7k9XQ 提取码：ey0c 产品 Kettle 主要包含4类产品，Spoon，Carte，Pan，Kitchen。 Spoon：可视化开发工具。可视化运行，监控等。 Carte：轻量级 Web 服务器，支持远程执行 Kettle 脚本。 Pan：命令行执行 Kettle Transformation 脚本。如：pan.sh file=xxx.ktr 。 Kitchen：命令行形式执行

这个该死的问题查了我整整3天，差点就放弃了。kettle用的人不多，文档也不太全，源码又重又大。 需求是从Impala用SQL读取数据，写入MYSQL。 环境是： pdi-ce-7.0.0.0-25 Linux： CentOS7 连接的是Cloudera Impala，使用第三方JDBC jar包：ImpalaJDBC4.jar 在Windows环境下，使用spoon.bat编写的JDBC同步逻辑是可以使用的，没有问题。 在Linux下面，运行第一次的时候，也可以正常运行，但是第二次运行后，就会报： Error reading object from XML file Unable to load database connection info from XML node Unable to create new database interface database type with plugin id [IMPALASIMBA] couldn't be found! 根据baidu某帖子，删除$KETTLE_HOME/system/karaf/caches 下的内容后，就可以顺利执行。 但是你不可能每次运行kettle作业都删一次本地缓存，这样并发进程的时候可能会出现bug。 怀疑是karaf这个OSGi容器生成的bundle有问题，思路就是不让它生成缓存文件就是了。据了解

一、需求说明 将源表（T_USER）中的用户信息同步到Hadoop中，然后再抽取Hadoop文件中数据到文本文件中。 二、启动kettle 双击 Spoon.bat 就能启动 kettle 。 三、创建转换 1.Hadoop集群配置说明 首先需要从hadoop集群中（/../hadoop-3.1.2/etc/hadoop）复制core-site.xml，hdfs-site.xml，yarn-site.xml，mapred-site.xml文件到shim文件夹中(..\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh514)，替换已有的文件。 注意要修改这些配置文件。比如hadoop节点的地址是不是正确等。由于core-site. xml 里面用的 hostname 连接的，而我们配置的时候用的 ip，所以需要修改core-site.xml为ip,然后重启Spoon。 由于Hadoop权限管理是弱管理，此处用户名和密码可以缺省。不过往Hadoop创建文件需要进行权限鉴证，所以此处修改Hadoop中的core-site.xml文件如下所示，表示不经过任何验证，所有用户拥有全部权限。(修改此配置需要重启hadoop)： <property> <name>hadoop.security

一、Kettle的集群原理 完全分布式即是在该集群环境中所有的kettle服务都是部署在不同的机器上，互相之间没有影响。此处以一个真实环境为例，来介绍kettle完全分布式环境的开发使用。生产环境中kettle服务器都是部署在linux服务器上，在windows本地开发好kettle任务，然后在linux集群环境上运行。 二、完全分布式集群搭建 1.环境规划 该环境模拟一台主服务器，两台从服务器的方式。 2.环境准备 首先需要先准备三台linux服务器，并且分别在三台机器上安装好jdk和kettle。 (1)JDK安装 此处不做详细介绍，可参考网上安装文档。 (2)Kettle安装 创建一个目，将下载好的kettle解压后放在该文件夹下。 测试安装是否成功 在kettle的data-integration目录中执行kitchen.sh文件，若出现帮助信息，证明安装成功 3.环境配置 和windows环境一样修改kettle配置文件，打开kettle的安装目录，进入到data-integration->pwd目录，找到carte-config-master-8080.xml文件。该文件主要是进行master主机配置，name、hostname、port依次配置名称、主机IP和端口号（如果已经使用可以修改）。 注意：username和password并不是指主机的登陆账号和密码

一、需求说明 Kettle作业执行完成并发送成功信息邮件通知数据装载成功。 二、启动kettle 双击 Spoon.bat 就能启动 kettle 。 三、创建作业 说明：本次测试是基于之前的转换案例“案例一”进行创建，主要是通过抽取数据进行映射后，然后装载到数据库中。 1.新建一个作业 2.从左侧依次拖动 START 、转换、邮件通知、成功到右侧，并用线连接起来 3.双击“邮件”进行设置，在“地址”页签输入“收件人地址”、“发件人”相关信息。 4.对“服务器”页签进行设置之前需要先对新浪邮件服务器进行设置。登录163邮箱，打开设置，可以看到POP3/SMTP/IMAP： 5.开启客户端授权码设置，需要发短信进行验证 设置授权码，在kettle上面登录使用就是输入下面的密码，而不是输入登录密码 设置服务器，SMTP服务器和端口根据邮箱来设置，此处以163邮箱为例 设置邮件消息，可以设置日期、消息主题等。 设置附件，设置附件之前需要先对转换进行设置，设置日志地址和名称。右击转换，选择“编辑作业入口”。 设置日志文件名和路径、后缀名，选择日志级别。 设置附件，勾选“带附件”，文件类型选择“日志” 至此，该任务创建完成，点击运行，完成后登录邮箱查看邮件如下所示： 注意：想要学习通过kettle工具实现hadoop、hive、hbase数据库抽取输出，和其他更多关于kettle的知识

Kettle Spoon.bat 闪退问题解决方案 参考文章： （1）Kettle Spoon.bat 闪退问题解决方案 （2）http://www.cnblogs.com/jusha/p/6744401.html 备忘一下。 来源： oschina 链接： https://my.oschina.net/u/4363067/blog/4333650

For input string: "!System.Combo.Primary!" java.lang.NumberFormatException: For input string: "!System.Combo.Primary!" 百度谷歌一大堆,没有一个解决问题,折腾了我好久. 最终解决方法: 删除C:\Users\你的用户.kettle文件夹下的所有文件! 来源： oschina 链接： https://my.oschina.net/u/4434986/blog/4313019

kettle启动时有时会加载缓存中的配置和数据，这个在启动日志中可以看出来，如果要它重新加载配置或者数据需要先清理缓存，命令如下： rm -rf ${KETTLE_HOME}/data-integration/system/karaf/caches/{kitchen,pan,spoon} 来源： oschina 链接： https://my.oschina.net/u/4413200/blog/4260076

一、概述 　　1.kettle是什么 　　Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 　　更多介绍，参考kettle中文网： http://www.kettle.net.cn/ 　　2.kettle四大家族 　　Chef（中文：厨师）、Kitchen（中文：厨房）、Spoon（中文：勺子）、Pan（中文：平底锅） 　　　　Chef—工作(job)设计工具 (GUI方式) 　　　　Kitchen—工作(job)执行器 (命令行方式) 　　　　Spoon—转换(transform)设计工具 (GUI方式) 　　　　Span—转换(transform)执行器 (命令行方式) 二、安装与配置 　　　　1.前置条件 　　　　　　JDK1.5+ 　　　　2.下载 　　　　　　Data Integration (or Kettle) 7.1版本下载： https://sourceforge.net/projects/pentaho/files/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip/download 。 　　　　　其他版本可以通过在下载页选择 　　　 3.安装