Hadoop 7、MapReduce执行环境配置
MR执行环境有两种:本地测试环境,服务器环境 本地测试环境(windows,用于测试) 1、下载Winddows版的Hadoop程序,解压后在Hadoop目录的bin目录放置一个winutils.exe可执行文件(下载地址: http://pan.baidu.com/s/1mhrsQyG ) 2、在windows下配置hadoop的环境变量 HADOOP_HOME E:\big-data\hadoop-2.5.2\hadoop-2.5.2 Path %HADOOP_HOME%\bin;%HADOOP_HOME%\sbin; 3、拷贝debug工具(winutils.ext)到HADOOP_HOME/bin 3、修改hadoop的源码 将Hadoop org.apachehadoop.io.nativeio.NativeIO.java 和 org.apachehadoop.mapred.YARNRunner.java拷备到项目的src目录下(包路径也不能变) 注意:修改项目JDK,确保项目的lib需要真实安装的jdk的lib,而不是工具自带的JDK 5、MR调用的代码需要改变: a、src不能有服务器的hadoop配置文件 b、在调用是使用: Configuration config = new Configuration(); config.set("fs