最近写一个hbase的mapper生成hfile文件,但是在执行jar包时,总是报Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/client/Scan错误,注释掉这个方法之后,又报其他的jar包找不到,似乎总是找不到hbase的相关包:
一开始执行命令:
root@master1 lct]# hadoop jar testhfile.jar lct01 /out
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/client/Scan
at hbasetest.HfileCreate.main(HfileCreate.java:39)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.client.Scan
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 7 more
后来看了官网,也给出了一些介绍关于这方面:
https://hbase.apache.org/book.html#mapreduce
在请教了一起工作的同事,确定就是这个问题引起的,修改的执行命令:
[root@master1 lct]# HADOOP_CLASSPATH=`hbase classpath` hadoop jar testhfile.jar lct01 /out
这样执行又出现一个权限问题,这是因为root用户对hdfs目录没有读写权限,切换到hdfs用户在执行这个命令,任务就没问题了;
[root@master1 lct]# su hdfs
[hdfs@master1 lct]$ HADOOP_CLASSPATH=`hbase classpath` hadoop jar testhfile.jar lct01 /out
执行成功。
来源:oschina
链接:https://my.oschina.net/u/3197158/blog/1842707