Hdfs

1介绍

设计思想是分而治之，将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。 在大数据系统中的应用是为各类分布式运算框架提供数据存储服务。

2.特性

hdfs中的文件在物理上是分块存储(block),块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M,老版本是64M.

hdfs文件系统会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件,形如:hdfs://namenode:port/dir-a/dir-b/file.data

目录结构及文件分块位置信息(元数据)的管理由namenode节点承担，namenode是hdfs集群主节点，负责维护整个hdfs文件系统的目录树，以及每一个路径（文件）所对应的block块信息(block的id及所在的datanode服务器)

文件的各个block的存储管理由datanode节点承担，datanode是hdfs集群从节点，每一个block都可以在多个datanode上存储多个副本，副本数量也可以通过参数设置dfs.replication,默认是3.

hdfs是设计成适应一次写入，多次读出的场景，且不支持文件的修改，适合用来做数据分析，并不适合用来做网盘应用，因为不便修改，延迟大，网络开销大，成本太高。

3.shell命令行客户端操作

可以使用两种形式，hadoop fs - xxx 或者是hdfs dfs -xxxx

[-appendToFile <localsrc> ... <dst>] 追加一个文件到已经存在的文件末尾

        [-cat [-ignoreCrc] <src> ...] 显示文件内容

        [-checksum <src> ...]

        [-chgrp [-R] GROUP PATH...] 修改文件所属用户组

        [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] 修改文件读写权限

        [-chown [-R] [OWNER][:[GROUP]] PATH...] 修改文件所属用户

        [-copyFromLocal [-f] [-p] <localsrc> ... <dst>] 从本地拷贝文件到hdfs

        [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] 从hdfs拷贝到本地

        [-count [-q] <path> ...] 统计一个指定目录下的文件节点数量

        [-cp [-f] [-p] <src> ... <dst>] 复制

        [-createSnapshot <snapshotDir> [<snapshotName>]]

        [-deleteSnapshot <snapshotDir> <snapshotName>]

        [-df [-h] [<path> ...]] 统计文件系统的可用空间信息

        [-du [-s] [-h] <path> ...] 统计文件夹的大小信息

        [-expunge]

        [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] 等同于copyToLocal，从hdfs下载文件到本地

        [-getfacl [-R] <path>]

        [-getmerge [-nl] <src> <localdst>] 合并下载多个文件

        [-help [cmd ...]]

        [-ls [-d] [-h] [-R] [<path> ...]] 显示目录信息

        [-mkdir [-p] <path> ...] 创建目录

        [-moveFromLocal <localsrc> ... <dst>] 从本地上传文件到hdfs

        [-moveToLocal <src> <localdst>] 从hdfs下载到本地

        [-mv <src> ... <dst>] 移动

        [-put [-f] [-p] <localsrc> ... <dst>] 等同于copyFromLocal

        [-renameSnapshot <snapshotDir> <oldName> <newName>]

        [-rm [-f] [-r|-R] [-skipTrash] <src> ...] 删除文件或者文件夹 -r 递归

        [-rmdir [--ignore-fail-on-non-empty] <dir> ...] 删除空目录

        [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]

        [-setrep [-R] [-w] <rep> <path> ...] 设置hdfs中文件的副本数量

        [-stat [format] <path> ...]

        [-tail [-f] <file>] 显示一个文件的末尾

        [-test -[defsz] <path>]

        [-text [-ignoreCrc] <src> ...] 以字符形式打印一个文件的内容

        [-touchz <path> ...]       

  [-usage [cmd ...]]

hdfs dfsadmin -report 查看dfs集群工作状态的命令

4.java客户端操作

hdfs在生产应用中主要是客户端的开发，其核心步骤是从hdfs提供的api中构造一个hdfs的访问客户端对象，然后通过

该客户端对象操作hdfs上的文件.引入相关jar包，并且需要设置windows环境，将windows平台下编译好的hadoop安装包解压到任意目录下，

在windows系统中配置HADOOP_HOME指向你解压的安装包目录，在path变量中加入HADOOP_HOME的bin目录。

Configuration conf=new Configuration();

FileSystem fs=FileSystem.get(conf);此时获取到的fs对象应该是DistributedFileSystem的实例，get方法是从何处判断具体实例化哪种客户端类呢？

从conf中的一个参数fs.defaultFS的配置值判断的，如果代码中没有指定fs.defaultFS,并且工程classpath下也没有给定相应的配置，conf中的默认值就来自于hadoop的jar包中的core-default.xml，默认值为file:///,则获取的将不是一个DistributedFileSystem的实例，而是一个本地文件系统的客户端对象。

DistributedFileSystem实例对象所具备的方法

代码示例参考。

5.hdfs读数据流程

客户端将要读取的文件路径发送给namenode, namenode获取文件的元信息（主要是blocak的存放位置信息）返回给客户端，客户端根据返回的信息找到相应datanode逐个获取文件的blocak并在客户端本地进行数据追加合并从而获得整个文件。

跟namenode通信查询元数据，找到 文件块所在的datanode服务器

挑选一台datanode(就近原则，然后随机)服务器，请求建立socket 流

datanode开始发送数据(从磁盘里面读取数据放入流，以packet为单位来做校验)

客户端以packet为单位接收，先在本地缓存，然后写入目标文件

6.hdfs写数据流程

客户端要向hdfs写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode,然后，客户端按照顺序将文件逐个block传递给

相应datanode,并由接收到blocak的datanode负责向其他datanode复制blocak的副本。

客户端跟namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在，namenode返回是否可以上传

client请求第一个block该传输到哪些datanode服务器上，namenode返回3个datanode服务器ABC，

client请求3台dn中的一台A上传数据（本质上是一个RPC调用，建立pipeline）,A收到请求会继续调用B，然后B调用C，将整个pipeline建立完成，

逐级返回客户端。

client开始往A上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，A收到一个packet就会传给B，B传给C，

A每传一个packet会放入一个应答队列等待应答。当一个blocak传输完成之后，client再次请求namenode上传第二个block的服务器。

7.namenode工作机制

namenode的职责：负责客户端请求的响应、元数据的管理（查询、修改）。namenode对数据的管理采用了三种存储形式：

内存元数据(NameSystem)就是内存中存储一份完整的元数据、

磁盘元数据镜像文件fsimage，在namenode的工作目录中、

数据操作日志文件，用于衔接内存元数据和元数据镜像fsimage之间的操作日志(edits文件)，当客户端对hdfs中的文件进行新增或者修改操作，操作记录首先被记入edits日志文件中，当客户端操作成功后，相应的元数据会更新到内存meta.data中。

元数据手动查看：可以通过hdfs的一个工具来查看edits中的信息 bin/hdfs oev -i edits -o edits.xml

bin/hdfs oiv -i fsimage_0000000000000000087 -p XML -o fsimage.xml

元数据的checkpoint：每隔一段时间，会由secondary namenode 将namenode上积累的所有edits和一个最新的fsimage下载到本地，并加载到内存进行merge(这个过程称为checkpoint).namenode和secondary namenode的工作目录存储结构完全相同，所以，当namenode故障退出需要重新恢复时，可以从secondary namenode的工作目录中将fsimage拷贝到namnode的工作沐浴露，以恢复namenode的元数据。

checkpoint操作的触发条件配置参数：

dfs.namenode.checkpoint.check.period=60  #检查触发条件是否满足的频率，60秒

dfs.namenode.checkpoint.dir=file://${hadoop.tmp.dir}/dfs/namesecondary

#以上两个参数做checkpoint操作时，secondary namenode的本地工作目录

dfs.namenode.checkpoint.edits.dir=${dfs.namenode.checkpoint.dir}

dfs.namenode.checkpoint.max-retries=3  #最大重试次数

dfs.namenode.checkpoint.period=3600  #两次checkpoint之间的时间间隔3600秒

dfs.namenode.checkpoint.txns=1000000 #两次checkpoint之间最大的操作记录

元数据目录说明：当第一次部署hadoop集群时，会在nn节点上进行格式化，hdfs namenode -format,格式化完之后，会在$dfs.namenode.name.dir/current目录下变成如下的文件结构：

current/

|-- VERSION

|-- edits_*

|-- fsimage_0000000000008547077

|-- fsimage_0000000000008547077.md5

`-- seen_txid

其中的dfs.name.dir是在hdfs-site.xml文件中配置的，默认值如下<value>file://${hadoop.tmp.dir}/dfs/name</value>

而hadoop.tmp.dir是在core-site.xml中配置的，默认值如下<value>/tmp/hadoop-${user.name}</value>

dfs.name.dir属性可以配置多个目录，中间用,隔开，相当于多个备份，特别是当其中一个目录是NFS（网络文件系统）之上，元数据会得到妥善保存。

对$dfs.namenode.name.dir/current目录下文件的详细说明：

VERSION文件是java属性文件：

namespaceID=934548976

clusterID=CID-cdff7d73-93cd-4783-9399-0a22e6dce196

cTime=0

storageType=NAME_NODE

blockpoolID=BP-893790215-192.168.24.72-1383809616115

layoutVersion=-47

其中：namespaceID是文件系统唯一标识符，在首次格式化之后生成，storageTyp说明这个文件存储的是什么进程的数据结构信息，当是datanode时，该值为DATA_NODE,

cTime表示namenode存储时间的创建时间，namenode没有更新过所以此时值为0.layoutVersion表示hdfs永久性数据结构的版本信息，只要数据结构变更，版本号就回递减，此时

的hdfs也要升级，否则磁盘仍旧使用旧版本的数据结构，会导致新版本的namenode无法使用。clusterID是系统生成或者手动指定的集群ID，在格式化中可以使用。blockpoolID是针对每一个namespace所对应的blocakpool的ID，上面这个值就是我的ns1的namespace下的存储块池的id，这个ID包括了其对应的namenode节点的ip地址。

hdfs namenode -format -clusterid <cluster id> 选择唯一一个clusterid，并且不予环境中其他集群有冲突，不提供的话，会自动生成一个。

hdfs start namenode --config $HADOOP_CONF_DIR -upgrade -clusterid <cluster id>升级集群至最新版本，在升级过程中需要提供一个clusterid,如无则自动生成。

 

$dfs.namenode.name.dir/current/seen_txid非常重要，是存放transactionId的文件，format之后是0，它代表的是namenode里面的edits_*文件的尾数，namenode重启的时候，会按照seen_txid的数字，循序从头跑edits_0000001~到seen_txid的数字。所以当你的hdfs发生异常重启的时候，一定要比对seen_txid内的数字是不是你edits最后的尾数，不然会发生配置namenode时metaData的资料有缺少，导致误删Datanode上多余Block的资讯。文件中记录的是edits滚动的序号，每次重启namenode时，namenode就知道要将哪些edits进行加载edits 。

$dfs.namenode.name.dir/current目录下在format的同时也会生成fsimage和edits文件，及其对应的md5校验文件。

 

8.datanode工作机制

 

datanode工作职责：存储管理用户的文件块数据、定期向namenode汇报自身所持有的block信息，通过心跳信息上报。

<property>

         <name>dfs.blockreport.intervalMsec</name>

         <value>3600000</value>

</property>

datanode掉线判断时限参数：datanode进程死亡或者网络故障造成datanode无法无namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间称作超时时长，hdfs默认的超时时长是10分钟+30秒。如果定义超时时间为timeout,则公式为timeout=2* heartbeat.recheck.interval + 10 * dfs.heartbeat.interval。而默认的 heartbeat.recheck.interval大小是5分钟，dfs.heartbeat.interval默认为3秒。注意，hdfs-site.xml文件中的heartbeat.recheck.interval的单位是毫秒，dfs.heartbeat.interval的单位是秒。

<property>

        <name>heartbeat.recheck.interval</name>

        <value>2000</value>

</property>

<property>

        <name>dfs.heartbeat.interval</name>

        <value>1</value>

</property>

来源：CSDN

作者：工大小选手

链接：https://blog.csdn.net/maying6024/article/details/104225856