Kettle Carte集群 在windows 上的部署与运行

流过昼夜 提交于 2019-12-15 09:11:46

本片文章主要是关于使用Kettle的UI界面:

Spoon来实现基于集群的对数据库中的数据表数据进行排序的试验。

以及在实验过程中所要开启的Carte服务的一些配置文件的设置,

还有基于Windows cmd 的相关Carte命令。

文章主要分为六个部分:

1.介绍carte     

2.carte相关配置文件的设定

3.carte服务的开启命令

4.在kettle的图形界面中对集群进行相关的设定   

5.使用kettle集群模式对相关的数据进行排序

6.有关于集群调用子服务器的java源代码调用实现

1.介绍carte

carte是由kettle所提供的web server的程序,
carte也被叫做子服务器(slave) 在kettle调用集群(cluster)来进行分布式分发、处理任务的时候,

可以开启多个carte服务进程 来进行分发ETL(master)任务和接收,运行,提交ETL任务(slave)。

就像是《pentaho kettle solutions》中对Carte的定义:

"Carte a lightweight server process allows for remote monitoring and enables the transformation clustering capabilities ".

"Carte是一个轻量级的服务器进程,可以远程监控和开启转换集群的能力".

 

2.carte相关配置文件的设定

与hadoop的结点设置类似,本实验将要实现的是基于一台主机,

开启四个carte服务,其中一台为Master另外三台为Slave,

来实现在Kettle的Spoon中对数据库中数据表读取后 以集群的方式来执行排序的过程。

开启的carte服务所显示的命令窗口都是一样的,但是究竟哪一个是主服务哪些又是子服务呢?

对于集群中的主服务器还是子服务器的设定,

我们仍旧引用《pentaho kettle solutions》书中的一段话进行说明(因为很权威的):

"A cluster schema consists of one master server that is being used as a controller

for the cluster , and a number of non-master slave servers.  In short, we refer to

the controlling Carte server as the master and the other Carte servers as slaves"

LZ在不考虑到句式主 谓 宾 定  状 补的条件下,对上述介绍的理解是这样的。

"一个集群实体是由 一个 用来主控整个集群的主节点

和多个 不是主节点

(也就是主节点除外,即配置文件中 属性<master>N</master>对应的值置为N的对应结点)

的子服务器所构成的。

简而言之,我们把开启的主控Carte 服务器 叫做 主节点 而其他的Carte 服务器叫做 从结点"。

 

关于Carte的服务器是主还是从是由相关的配置文件:carte-config.xml中的

属性<master></master>中是"Y"还是"N" 所设定的,

其实这个和hadoop通过相关的XML配置文件来设定是主节点还是从节点是很神似的。

配置文件吧,其实根据计算机不同,以及计算机中的环境变量的不同而千差万别。

主要说一下LZ关于配置文件的设定过程吧,

若想让Carte程序可以成功运行的话,首先就应该设定它的配置文件,

配置文件所在的路径,如下图所示:

(carte-config.xml 截图)

在这里LZ在正常进行配置的时候cmd窗口报错,说是在kokia/Acer/user/acer/

的下面找不到pwd文件夹(kokia是LZ的计算机名称)

所以LZ根据提示将kettle安装解压路径下的pwd文件夹复制了一份到提示信息的路径下,

才使得Carte正常运行,不过要让LZ说是什么原理嘛,其实LZ也不知道的,

或许默认Carte服务启动的时候会到该路径下自行寻找相关的配置文件吧......

pwd这个文件夹下面默认存放的是关于Carte的一些配置文件以及登陆用户名以及密码等等,

它所在的kettle安装包的路径就是./data-integration/pwd 这个下面的。

 

下面是关于主服务器(master:carte-config-master-8080.xml)配置文件进行相关注释说明:

复制代码

<slave_config>

<slaveserver>
<name>master1</name>
<hostname>localhost</hostname>
<port>8080</port>
<master>Y</master>
</slaveserver>


</slave_config>

<!--
even though called master node  ,

it is a instance of the  slaveserver

<name> attribute is used to define the name of the slaveserver
<hostname> in this conf file is the localhost which equal
to the "127.0.0.1" IP address

当然,对于这个hostname的话,在Linux的环境中,

在对应的配置文件中 有相关的IP地址与主机名称相对应的,

在Windows下面,LZ并不知道相关的配置文件在哪里,

所以如果是集群的节点所在的并不是基于一台主机的话,
<hostname>这个属性的值可以使用该节点所在的主机IP地址所代替。
<port> 8080 , in carte the port of 8080 is regarded 
as the port of the master node in default

<master> : Y  which talked about above , attribute value = Y
means that the current slaveserver is regarded as the master node
in the cluster.
-->

复制代码

下面是关于子服务器(slave)的配置文件进行相关注释说明:

复制代码

<slave_config>

<masters>

<slaveserver>

<name>master1</name>
<hostname>localhost</hostname>
<port>8080</port>
<username>cluster</username>
<password>cluster</password>
<master>Y</master>
</slaveserver>

</masters>


<report_to_masters>Y</report_to_masters>

<slaveserver>
<name>slave1-8081</name>
<hostname>localhost</hostname>
<port>8081</port>
<username>cluster</username>
<password>cluster</password>
<master>N</master>
</slaveserver>

</slave_config>

复制代码

从节点的配置文件照比主节点的配置文件要稍微多一些内容的,

首先,多的是<masters>这个属性,其中包含的是关于一个<slaveserver>实体的设定,

其实也就是相应的在其中引入了主节点的相关设定的属性值。

 

然后有一个属性是<report_to_masters>这个属性是用来设定:

slave1-8081这个节点已经是主节点的子节点了,但是是否向主节点提交信息还是不知道的,

所以要通过这个属性对其进行相关的设定。

接下来就是对从节点进行相关的设定,关于IP地址,端口号,节点名称,登录用户名以及密码,

又因为该节点是子节点,所以<master>这个属性值对应的是"N".

 

需要注意的是,如果是在开启carte或是Spoon的时候进行相关的配置文件 进行设定的话呢,

需要退出程序之后再次进入才能是相关的配置文件生效。

  

3.carte服务的开启命令

Carte 有着针对不同系统可以正常运行的不同脚本文件,

对于Windows有着:Carte.bat

 对于Linux有着:carte.sh

本文主要讨论的是基于Windows的运行。

首先,打开cmd控制台窗口:

然后(LZ的cmd 运行有一些问题,因为LZ的计算机是64bit的,

所以需要右键单击cmd:选择这个"以管理员的身份运行"这个选项,

才能保证carte的正确运行,不然权限不够启动会出错的)

Windows下,运行Carte:

./Carte.bat  IP address  port

如截图所示:master node是8080端口,下面开启master node:

 

 

如下图所示,代表的是本地的主节点(port=8080)Carte服务已经被成功开启了,

4.在kettle的图形界面中对集群进行相关的设定

首先,应该开启Spoon程序,进入到图形界面中后,创建一个转换,

然后选择左边选项树的的左选项:主对象树,

然后找到子服务器右击选择新建,如下图所示配置好主节点。

 

需要注意的是:

1.服务器的名称一定要与pwd文件夹下面的配置文件<name>属性所对应的值是一致的

2.所新建的子服务器一定要在pwd文件夹下面要有对应的配置文件才可以,

否则即便在Spoon中进行相关的设定也不会在集群中作为一个节点所运行的。

因为配置文件决定的是Carte服务的启动运行,而Spoon中需要调用到Carte服务。

如果一开始配置文件中没有该节点的话,就无法启动Carte服务,

在Spoon中也就无法调用该Carte作为子服务器,更不用说是将该子服务器作为集群中的节点了。

 

当然LZ也试着在Spoon界面中创建相关的子服务器,然后存盘该.ktr文件,

然后到相应的pwd文件夹下面寻找是否有相关的配置文件生成,但没有找到。

 

所以今后在Spoon中设定配置子服务器的时候,一定要先配置好Carte的配置文件才好。

 

下面的截图是,将要作为集群的一个子节点在pwd文件夹下的配置文件信息:

可以看到的是,对应的<name>属性的值是:slave1-8081

所以在Spoon中设定子服务器作为子节点的时候,

最好是要保证二者(Spoon中的子服务器设定和配置文件)的一致性才好:

接下来的其余子节点就不进行一一演示了。

在"是主服务器吗?"这个选项中,因为它不是主服务器,所以不对其进行勾选。

 

接下来将各个子服务器导入到集群中去,

选择左对象树,然后右键单击:Kettle集群schemas->新建。

接下来选中相关的子服务器:

选中所有的要加入到cluster中的子服务器之后,点击确定。

接下来就可以在集群schema对话框中看到相应的选中的服务器了,如下图所示:

 

 

感觉这篇文章的内容有一点多了呢,估计后面的两个主题也会涉及到很多的东西呢,

所以5、6这 两个主题就留到接下来的一篇文章中来介绍吧~

 

5.使用kettle集群模式对相关的数据进行排序

 http://www.cnblogs.com/inuyasha1027/p/kettle_cluster_sorting2.html

6.有关于集群调用子服务器的java源代码实现

 

------------ 能改变现状的,只有战斗的觉悟 ------------

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!