解决kettle调度效率低，不可高并发调度方法
“我在spoon里面运行一个作业只要几秒种，但是在命令行中运行却要好几十秒？” “并行同时运行几个job，就把内存撑爆了，Kettle好占资源呀！” Kettle作为用户规模最多的开源ETL工具，强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。连Pentaho官方都建议采用crontab(Unix平台)和计划任务(Windows平台)来完成调度功能。调用kettle作业，实际上是通过pan和kitchen命令去调用。每一次调用都会重新初始化kettle运行环境，这个过程占用大量的时间。并且每启动一个kettle运行环境都相当于启动一个JVM进程。每个JVM则会占用几百兆（默认设置）的内存。所以同时运行几个作业，也会消耗大量内存资源。极端情况则可能会导致kettle内存溢出，产生致命错误。 https://my.oschina.net/u/944575/blog/1557410 http://www.taskctl.com/forum/detail_124.html 上述是Taskctl出的解决方案，但是如果我本身不愿意在多学习一个调度工具，其实也是可以用这个的。安装这个服务后，默认会生成两个调度插件，分别对应trans和job两种类型的。我们现在需要做的就是用crontab调用调度插件，配合着正确的参数值，就可以正常调度了，非常简单