hdfs

1.实践

进入/app/hadoop-1.1.2 ，新建文件夹input，在文件夹下 vi daysn.txt

daysn wu is handsome
very handsome
wow so so handsome
yes he is

然后保存。待会咋们把这个daysn.txt上传到hdfs中去。在hdfs中建立文件夹/upload

hadoop fs -mkdir /upload
hadoop fs -ls /

上传使用copyFromLocal命令

hadoop fs -copyFromLocal daysn.txt /upload/daysn.txt
hadoop fs -ls /

 

 

接下来我们试着用代码读取hdfs的文件。 

再在app/hadoop-1.1.2下面建立文件夹classes。进入classes目录，vi Test.java,输入以下代码。

import java.io.InputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.io.IOUtils;

public class Test{
       public static void main(String[] args) throws Exception{         String uri = args[0];         Configuration conf = new Configuration();         FileSystem fs = FileSystem.get(URI.create(uri), conf);　　　　  InputStream in = null;         try{             in = fs.open(new Path(uri));             IOUtils.copyBytes(in, System.out, 4096, false);         }finally{               IOUtils.closeStream(in);         }      }
}

然后

javac -classpath ../hadoop-core-1.1.2.jar Test.java 编译一下

然后使用命令一样用Test（讲真这个类名应该叫catFile之类，这样写命令才好一些）

 

来源：https://www.cnblogs.com/daysn/p/12286022.html