hbaseMapper提交报找不到类NoClassDefFoundError

只谈情不闲聊 提交于 2019-11-30 17:23:33

最近写一个hbase的mapper生成hfile文件,但是在执行jar包时,总是报Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/client/Scan错误,注释掉这个方法之后,又报其他的jar包找不到,似乎总是找不到hbase的相关包:

一开始执行命令:

root@master1 lct]# hadoop jar testhfile.jar lct01 /out
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/client/Scan
    at hbasetest.HfileCreate.main(HfileCreate.java:39)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.client.Scan
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 7 more

后来看了官网,也给出了一些介绍关于这方面:

https://hbase.apache.org/book.html#mapreduce

在请教了一起工作的同事,确定就是这个问题引起的,修改的执行命令:

[root@master1 lct]# HADOOP_CLASSPATH=`hbase classpath` hadoop jar testhfile.jar lct01 /out

这样执行又出现一个权限问题,这是因为root用户对hdfs目录没有读写权限,切换到hdfs用户在执行这个命令,任务就没问题了;

[root@master1 lct]# su hdfs

[hdfs@master1 lct]$ HADOOP_CLASSPATH=`hbase classpath` hadoop jar testhfile.jar lct01 /out

执行成功。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!