当hive和hbase整合之后,执行hive ql 启动运行task时,提示java.lang.ClassNotFoundException,首先考虑下面这种情况:
在hive-site.xml中的hive.aux.jars.path属性配置是否完整,首先最少的有zookeeper,hbase,hive-hbase-handler这三个包。
然后查找提示不存在的class,看看不存在的class在哪个包,然后配置进去。例如有一次提示:
java.lang.ClassNotFoundException: org.antlr.runtime.CommonToken
经查找这个类是在antlr-runtime-3.4.jar包里面,所以把antlr-runtime-3.4.jar包也配进hive.aux.jars.path中,如下:
<property> <name>hive.aux.jars.path</name> <value>file:///home/cdh/apps/hive-0.10.0-cdh4.7.0/lib/hive-hbase-handler-0.10.0-cdh4.7.0.jar,file:///home/cdh/apps/hive-0.10.0-cdh4.7.0/lib/hbase-0.94.15-cdh4.7.0.jar,file:///home/cdh/apps/hive-0.10.0-cdh4.7.0/lib/zookeeper-3.4.5-cdh4.7.0.jar,file:///home/cdh/apps/hive-0.10.0-cdh4.7.0/lib/antlr-runtime-3.4.jar</value> </property> |
最后发现不报错了。所以类似的NotFoundException都可以使用这种方法试试。我还看到有人把guava-11.0.2.jar配置进去的,足以见得,hive.aux.jars.path属性不是固定的,缺什么就配置什么。还有就是hive.aux.jars.path只能一个一个文件加进去,不能配置文件夹或者*.jar(经过试验不能)。
找不到org.apache.hadoop.hbase.CompatibilityFactory
这是因为缺少hbase-hadoop2-compat这个包,但是当我引入这个包之后,还是出错,你还需要加上hbase-hadoop-compat
不知道为什么,这2个包都需要加上才有用。而cdh的这个包没有标明是2还是1,不知道那个版本,所以2个版本的包都复制到了lib下。最后不报错。
来源:oschina
链接:https://my.oschina.net/u/2260928/blog/484344