Windows Hdfs 客户端配置

馋奶兔 提交于 2020-03-02 04:09:56

Windows 端 Hdfs 客户端实现文件上传、下载等操作

1. 先在 Centos 上开启 Hdfs

具体可参考:

  1. Hadoop环境搭建-1. 安装VMware及Centos7
  2. Hadoop环境搭建-2. Hadoop单机版
  3. Hadoop环境搭建-3. Hadoop集群版

2. 在 Windows 上配置 Hadoop

2.1 下载 Hadoop 包

地址:https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/

image

2.2 解压配置

解压到目录下,在高级系统设置中设置环境变量

image

image

配置完成,在 cmd 输入"hadoop version"

image

验证成功

2.3 可能的错误

出现下面错误, 但是 java 却是正常的

Error: JAVA_HOME is incorrectly set. Please update …\hadoop\conf\hadoop-env.cmd

到 …\hadoop-2.9.2\etc\hadoop 路径下面找到文件 “hadoop-env”

点开配置 JAVA那行, 由于 JAVA 路径原有路径C盘下面的"program file" 有空格, 所以换成"\PROGRA~1", 再保存

image

参考:https://www.cnblogs.com/Jomini/p/11432484.html

3. 配置 winutil 和 hadoop.ddl

因为 Hadoop 主要基于 Linux 编写,这个 winutil.exe 主要用于模拟 Linux 下的目录环境

因此 Hadoop 放在 Windows 下运行的时候,需要这个辅助程序才能运行

3.1 下载 winutil 和 hadoop.ddl

两个文件下载源

3.2 拷问至 .\hadoop-2.9.2\etc\hadoop\bin 目录

image

4. 创建 maven 工程, 运行读写程序

4.1 pom 文件

<!--定义的标签属性可以在其他地方读取-->
<properties>
    <hadoop.version>2.9.2</hadoop.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.apache.logging.log4j</groupId>
        <artifactId>log4j-core</artifactId>
        <version>2.8.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
</dependencies>

4.2 运行上传文件

package com.hadoop.wj;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

public class Apptest {

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();

        FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), conf, "root");

        Path src = new Path("F:\\IdeaProjects\\bigData\\HdfsClient\\src\\main\\resources\\test.txt");
        Path dest = new Path("/");
        fs.copyFromLocalFile(src, dest);

        FileStatus[] fileStatus = fs.listStatus(dest);
        for (FileStatus file : fileStatus) {
            System.out.println(file.getPath());
        }
        System.out.println("上传成功");
    }

}

注意:代码中直接指定 Hdfs 用户为 root,如果不指定,需要在 VM Options 中指定 HADOOP_USER_NAME 为你 hdfs 集群的用户,如下:

image

4.3 查看结果

image

image

文件上传成功!

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!