hdfs命令

第一部分：hdfs文件系统命令 第一类：文件路径增删改查系列： hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -rmr dir 删除文件夹dir hdfs dfs -ls 查看目录文件信息 hdfs dfs -lsr 递归查看文件目录信息 hdfs dfs -stat path 返回指定路径的信息 第二类：空间大小查看系列命令： hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件大小 hdfs dfs -dus uri 递归显示目标文件的大小 hdfs dfs -du path/file显示目标文件file的大小 第三类:权限管理类： hdfs dfs -chgrp group path 改变文件所属组 hdfs dfs -chgrp -R /dir 递归更改dir目录的所属组 hdfs dfs -chmod [-R] 权限 -path 改变文件的权限 hdfs dfs -chown owner[-group] /dir 改变文件的所有者 hdfs dfs -chown -R owner[-group] /dir 递归更改dir目录的所属用户 第四类：文件操作（上传下载复制）系列： hdfs dfs -touchz a.txt 创建长度为0的空文件a.txt hdfs dfs -rm file 删除文件file hdfs dfs

1.hdfs dfs、hadoop fs、hadoop dfs三个命令的区别 在介绍命令之前，首先要知道hdfs dfs、hadoop fs、hadoop dfs三个命令的区别。 hadoop fs：通用的文件系统命令，针对任何系统，比如本地文件、HDFS文件、HFTP文件、S3文件系统等。 hadoop dfs：特定针对HDFS的文件系统的相关操作，但是已经不推荐使用。 hdfs dfs：与hadoop dfs类似，同样是针对HDFS文件系统的操作，官方推荐使用。 2.hdfs常用命令 2.1文件路径增删改查系列 hdfs dfs -mkdir dir 创建文件夹 hdfs dfs -mkdir -p dir 递归创建文件夹 hdfs dfs -rmr dir 删除文件夹dir hdfs dfs -ls 查看目录文件信息 hdfs dfs -lsr 递归查看文件目录信息 hdfs dfs -stat path 返回指定路径的信息 2.2空间大小查看系列命令 hdfs dfs -du -h dir 按照适合阅读的形式人性化显示文件大小 hdfs dfs -du path/file显示目标文件file的大小 hdfs dfs -dus uri 递归显示目标文件的大小 2.3权限管理类 hdfs dfs -chgrp group path 改变文件所属组 hdfs dfs -chgrp

Hadoop HDFS操作命令 查看Hadoop HDFS支持的所有命令 hadoop fs 列出目录及文件信息 hadoop fs - ls 循环列出目录、子目录及文件信息 hadoop fs - lsr 将本地文件系统的test.txt复制到HDFS文件系统的/user/sunlightcs目录下 hadoop fs - put test . txt / user / sunlightcs 将HDFS中的test.txt复制到本地文件系统中，与-put命令相反 hadoop fs - get / user / sunlightcs / test . txt 查看HDFS文件系统里test.txt的内容 hadoop fs - cat / user / sunlightcs / test . txt 查看最后1KB的内容 hadoop fs - tail / user / sunlightcs / test . txt 从HDFS文件系统删除test.txt文件，rm命令也可以删除空目录 hadoop fs - rm / user / sunlightcs / test . txt 删除/user/sunlightcs目录以及所有子目录 hadoop fs - rmr / user / sunlightcs 从本地文件系统复制文件到HDFS文件系统，等同于put命令 hadoop

Hadoop由GNU / Linux平台及其版本支持。因此，我们必须安装一个Linux操作系统来设置Hadoop环境。如果您有除Linux以外的操作系统，您可以在其中安装Virtualbox软件，并在Virtualbox内部安装Linux。 安装前设置 在将Hadoop安装到Linux环境之前，我们需要使用ssh（Secure Shell）来设置Linux。按照以下步骤设置Linux环境。 创建用户 在开始时，建议为Hadoop创建一个单独的用户，以便将Hadoop文件系统与Unix文件系统隔离。按照以下步骤创建用户： 使用命令“su”打开根。 使用命令“useradd username”从root帐户创建用户。 现在您可以使用命令“su username”打开现有的用户帐户。 打开Linux终端并键入以下命令以创建用户。 $ su password: # useradd hadoop # passwd hadoop New passwd: Retype new passwd SSH设置和密钥生成 需要SSH设置在集群上执行不同的操作，如启动，停止，分布式守护程序shell操作。要对Hadoop的不同用户进行身份验证，需要为Hadoop用户提供公钥/私钥对，并与不同的用户共享。 以下命令用于使用SSH生成键值对。将公共密钥表单id_rsa.pub复制到authorized_keys

Hadoop系列文章 Hadoop部署 Apache Hadoop 3.2.1 单节点部署 Java安装 下载安装包 在服务器中解压到指定目录 配置环境变量 HDFS Shell命令一览 测试Hadoop安装成果 Apache Hadoop 3.2.1 伪分布式部署 hadoop环境配置文件 配置文件设置 设置SSH 格式化HDFS Hadoop分为三种部署方式 Standalone Operation（单节点集群）：默认情况下，Hadoop被配置为作为单个Java进程以非分布式模式运行。这对于调试非常有用。 Pseudo-Distributed Operation（伪分布式）：在单节点上以伪分布式模式运行，其中每个Hadoop守护进程运行在单独的Java进程中。 分布式部署Fully-Distributed Operation：真集群部署 构件 版本 Hadoop 3.2.1 CentOS 7 Java 1.8 IDEA 2018.3 Gradle 4.8 Springboot 2.1.2 RELEASE Apache Hadoop 3.2.1 单节点部署 Java安装 因为Hadoop是基于Java的，所以一个Java环境是不能少的。 CentOS7 安装JDK1.8 下载安装包 Apache Hadoop 官方下载页 Apache Hadoop 3.2.1 binary

开发中需要测试kerberos认证的hdfs环境，方便模拟线上环境，hdfs单机很简单，但是加上kerberos，一方面时配置复杂，另一方面时java程序连接认证容易出错，所以总结了快速搭建kerberos认证的hdfs环境，方便开发与测试 centos 6.10 minimal安装 先安装kerberos yum - y install krb5 - libs krb5 - server krb5 - workstation echo '192.168.127.131 myli' >> / etc / hosts # hostname，主机名使用ip，不用 127 echo '192.168.127.131 kerberos.example.com' >> / etc / hosts kdb5_util create - r EXAMPLE . COM - s # 另一个终端 cat / dev / sda > / dev / urandom，往随机池写入，加快速度，新建密码 kadmin . local - q "addprinc admin/admin" # 管理员，新建密码 / etc / init . d / krb5kdc start / etc / init . d / kadmin start kadmin . local - q 'addprinc

1. 工作机制 一个数据块在 DataNode 上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 DataNode 启动后向 NameNode 注册，通过后，周期性（1小时）的向 NameNode 上报所有的块信息。 心跳是每3秒一次，心跳返回结果带有 NameNode 给该 DataNode 的命令如复制块数据到另一台机器，或删除某个数据块。如果超过 10 分钟没有收到某个 DataNode 的心跳，则认为该节点不可用。 ============================== 2. 数据完整性 当 DataNode 读取 Block 的时候，它会计算 CheckSum。 如果计算后的 CheckSum, 与 Block 创建时值不一样， 说明 Block 已经损坏。 Client 读取其他 DataNode 上的 Block。 DataNode 在其他文件创建后周期验证 CheckSum； 奇偶校验示例（实际使用的是CRC校验）： ============================== 3. 掉线时限参数设置 DataNode 进程死亡或者网络故障造成 DataNode 无法与 NameNode 通信； NameNode 不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作 超时时长 ; HDFS

1、从hdfs下载文件 hdfs dfs -get hdfs路径 本地路径 2、hdfs查看目录下的文件 # hdfs dfs -ls <hdfs路径> 3、hdfs上传文件 # hdfs dfs -put /本地路径 /hdfs路径 4、hdfs创建文件夹 # hdfs dfs -mkdir <hdfs路径/hello> 5、docker中获取权限 kinit usrname 6、docker连续操作两个命令 下图中的bash -c 后面引号中的内容是要执行的第二个命令 7、docker映射路径 -v代表映射的路径。：前面的代表本地的实际路径，即把该路径映射到docker中。：后面的代表映射之后的docker的路径 8、docker切换到执行命令的路径 -w代表进入docker之后要切换进入的路径 来源： CSDN 作者： jiao_mrswang 链接： https://blog.csdn.net/jiao_mrswang/article/details/103859939

hdfs文件的相关操作主要使用hadoop fs、hadoop dfs、hdfs dfs 命令，以下对最常用的相关命令进行简要说明。 hadoop fs -ls 显示当前目录结构，-ls -R 递归显示目录结构 hadoop fs -mkdir 创建目录 hadoop fs -rm 删除文件，-rm -R 递归删除目录和文件 hadoop fs -put [localsrc] [dst] 从本地加载文件到HDFS hadoop fs -get [dst] [localsrc] 从HDFS导出文件到本地 hadoop fs - copyFromLocal [localsrc] [dst] 从本地加载文件到HDFS，与put一致 hadoop fs -copyToLocal [dst] [localsrc] 从HDFS导出文件到本地，与get一致 hadoop fs -test -e 检测目录和文件是否存在，存在返回值$?为0，不存在返回1 hadoop fs -text 查看文件内容 hadoop fs -du 统计目录下各文件大小，单位字节。-du -s 汇总目录下文件大小，-du -h 显示单位 hadoop fs -tail 显示文件末尾 hadoop fs -cp [src] [dst] 从源目录复制文件到目标目录 hadoop fs -mv [src] [dst]

上篇： 用Docker在一台笔记本电脑上搭建一个具有10个节点7种角色的Hadoop集群（上）-快速上手Docker 上篇介绍了快速上手Docker部分，下面接着介绍搭建Hadoop集群部分。 六、搭建Hadoop伪分布模式 我们先用前面创建的这个容器来搭建Hadoop伪分布模式做测试，测试成功后再搭建完全分布式集群。 1.SSH 这个centos容器可以看做是一个非常精简的系统，很多功能没有，需要自己安装。 Hadoop需要SSH，但容器没有自带，需要我们安装。 ①安装SSH # yum -y install openssh-clients openssh-server ②生成3个key文件 # ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key一路回车 # ssh-keygen -t ecdsa -f /etc/ssh/ssh_host_ecdsa_key 一路回车 # ssh-keygen -t ed25519 -f /etc/ssh/ssh_host_ed25519_key 一路回车 ③启动sshd # /usr/sbin/sshd ④修改root密码 因为默认的密码不知道，我们重新设置一下。 # passwd root ⑤设置ssh免密登录到本机 # ssh-keygen一路回车 # ssh-copy-id localhost