当hive和hbase整合之后,执行hql,提示找不到类。

北慕城南 提交于 2020-03-01 15:25:31

当hive和hbase整合之后,执行hive ql 启动运行task时,提示java.lang.ClassNotFoundException,首先考虑下面这种情况:

在hive-site.xml中的hive.aux.jars.path属性配置是否完整,首先最少的有zookeeper,hbase,hive-hbase-handler这三个包。

然后查找提示不存在的class,看看不存在的class在哪个包,然后配置进去。例如有一次提示:

java.lang.ClassNotFoundException: org.antlr.runtime.CommonToken

经查找这个类是在antlr-runtime-3.4.jar包里面,所以把antlr-runtime-3.4.jar包也配进hive.aux.jars.path中,如下:

<property>
 <name>hive.aux.jars.path</name>
 <value>file:///home/cdh/apps/hive-0.10.0-cdh4.7.0/lib/hive-hbase-handler-0.10.0-cdh4.7.0.jar,file:///home/cdh/apps/hive-0.10.0-cdh4.7.0/lib/hbase-0.94.15-cdh4.7.0.jar,file:///home/cdh/apps/hive-0.10.0-cdh4.7.0/lib/zookeeper-3.4.5-cdh4.7.0.jar,file:///home/cdh/apps/hive-0.10.0-cdh4.7.0/lib/antlr-runtime-3.4.jar</value>
</property>

最后发现不报错了。所以类似的NotFoundException都可以使用这种方法试试。我还看到有人把guava-11.0.2.jar配置进去的,足以见得,hive.aux.jars.path属性不是固定的,缺什么就配置什么。还有就是hive.aux.jars.path只能一个一个文件加进去,不能配置文件夹或者*.jar(经过试验不能)。

找不到org.apache.hadoop.hbase.CompatibilityFactory

这是因为缺少hbase-hadoop2-compat这个包,但是当我引入这个包之后,还是出错,你还需要加上hbase-hadoop-compat

不知道为什么,这2个包都需要加上才有用。而cdh的这个包没有标明是2还是1,不知道那个版本,所以2个版本的包都复制到了lib下。最后不报错。

参考:Hive-0.13.1安装配置

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!