Hive中的用户自定义函数

回眸只為那壹抹淺笑 提交于 2019-12-06 15:25:11

1.1 关于自定义函数

1)Hive 自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义UDF来方便的扩展。

2)当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF:user-defined function)。

3)根据用户自定义函数类别分为以下三种:

​ (1)UDF(User-Defined-Function)

​ 一进一出

​ (2)UDAF(User-Defined Aggregation Function)

​ 聚集函数,多进一出

​ 类似于:count/max/min

​ (3)UDTF(User-Defined Table-Generating Functions)

​ 一进多出

​ 如lateral view explore()

4)官方文档地址

https://cwiki.apache.org/confluence/display/Hive/HivePlugins

5)编程步骤:

​ (1)继承org.apache.hadoop.hive.ql.exec.UDF

​ (2)需要实现evaluate函数;evaluate函数支持重载;

​ (3)在hive的命令行窗口创建函数

​ a)添加jar

add jar linux_jar_path

​ b)创建function

create [temporary] function [dbname.]function_name AS class_name;

​ (4)在hive的命令行窗口删除函数

Drop [temporary] function [if exists] [dbname.]function_name;

6)注意事项

​ (1)UDF必须要有返回类型,可以返回null,但是返回类型不能为void;

1.2 案例实操

1)定义了四个UDF类,代码见:GitHub

使用方法:你可以选择在IDEA中checkout该项目,然后使用maven打成jar包后放置到hive的安装目录,“hive/lib”目录下

如:

2)在hive中执行add操作,添加所配置的jar包:

hive (default)> add jar /opt/module/hive/lib/log-hive.jar;

3)注册永久函数

hive (default)>create function getdaybegin AS 'com.bigdata.hive.DayBeginUDF';

hive (default)>create function getweekbegin AS 'com.bigdata.hive.WeekBeginUDF';

hive (default)>create function getmonthbegin AS 'com.bigdata.hive.MonthBeginUDF';

hive (default)>create function formattime AS 'com.bigdata.hive.FormatTimeUDF';

4)验证函数

​ 由于我将Hive的元数据信息选择保存在MySQL中(Hive的Metastore默认存储在自带的derby数据库中,推荐使用MySQL存储Metastore),所以选择登录mysql

[bigdata@hadoop101 ~]$ mysql -uroot -p000000

mysql> show databases;

mysql> use metastore;

mysql> show tables;

mysql> select * from FUNCS;

下面是我在Dbeaver中查看到的表的具体信息:

可以发现四个自定义函数已经添加进去了。

关于FUNC表字段的描述:

5)删除函数

hive (applogsdb)> drop function getdaybegin;

hive (applogsdb)> drop function getweekbegin;

hive (applogsdb)> drop function getmonthbegin;

hive (applogsdb)> drop function formattime;

6)注意:在哪个数据库中注册的永久函数,必须在哪个数据库下将该方法删除

比如在applogsdb数据库中创建的方法,必须在该数据中调用drop方法才能实现删除功能。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!