Kettle巧用公式轻松实现数据抽取

家住魔仙堡 提交于 2020-08-14 22:49:05

1.前言
数据清洗过程需要对数据进行转换拼装计算,Kettle提供“公式步骤”供用户使用,下面将介绍如何在kettle中使用公式。

2.公式步骤帮助手册介绍

打开kettle工具, 在左侧找到“公式步骤”(核心对象->脚本->公式),主要包含“新字段”(计算后产生的新字段)、“替换值”(用计算获得的值替换原有的值,“替换值”优先级高于“新字段”),计算公式,点击公式输入框会弹出帮助手册,此处重点介绍公式基本使用方法。

Kettle巧用公式轻松实现数据抽取
Kettle巧用公式轻松实现数据抽取
(1)基本计算介绍(Basic computation)
Kettle巧用公式轻松实现数据抽取
点击左上角小三角形,自动展开,右侧框内会有描述和示例。在上面的编辑框内输入公式,下面会同步进行校验,如果输入正确,则下方编辑框内不存在任何提示。
Kettle巧用公式轻松实现数据抽取
下面这里是几个简单示例,字段需要用[]括起来,如果存在多运算符采用()决定先后运算顺序。
Kettle巧用公式轻松实现数据抽取
(2)比较计算介绍(Comparisons)







比较两个值的大小,返回为boolean值
Kettle巧用公式轻松实现数据抽取
(3)日期/时间计算介绍(Date/Time)

日期函数比较多,这里介绍通用的四个函数,具体说明如下所示:
Kettle巧用公式轻松实现数据抽取
Kettle巧用公式轻松实现数据抽取
(4)信息计算介绍(Information)


日期函数比较多,这里介绍通用的四个函数,具体说明如下所示:
Kettle巧用公式轻松实现数据抽取
Kettle巧用公式轻松实现数据抽取
(5)逻辑计算介绍(Logical)


逻辑函数比较多,这里介绍通用的三个函数,具体说明如下所示:
Kettle巧用公式轻松实现数据抽取
Kettle巧用公式轻松实现数据抽取
(6)数学计算介绍(Math)


数学函数比较多,这里介绍通用的四个函数,具体说明如下所示:
Kettle巧用公式轻松实现数据抽取
Kettle巧用公式轻松实现数据抽取
(7)文本计算介绍(Text)


数学函数比较多,这里介绍通用的四个函数,具体说明如下所示:
Kettle巧用公式轻松实现数据抽取
Kettle巧用公式轻松实现数据抽取

注意:想要学习通过kettle工具实现hive、hbase数据库抽取输出,和其他更多关于kettle的知识,请扫描以下二维码或者链接获取学习资料。
链接地址:
https://edu.51cto.com/sd/e80d0
二维码地址:
Kettle巧用公式轻松实现数据抽取
同时也欢迎各位看官关注本人公众号,本人将相关资料和学习视频上传到上面,供大家一起学习讨论:
Kettle巧用公式轻松实现数据抽取





易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!