【Hadoop】HDFS概述

。_饼干妹妹 提交于 2020-03-01 21:58:04

HDFS 定义

HDFS(Hadoop Distributed File System),它是一个文件系统,用于储存文件,通过目录树来定位文件;其次,它是 分布式 的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。
  HDFS的使用场景:适合一次写入,多次读出的场景,且不支持文件的修改。

HDFS 优缺点

优点:

1)高容错性
数据自动保存多个副本,某个副本丢失以后,它可以自动恢复
2)适合处理大数据
能够处理数据规模大的数据;能够处理百万规模以上的文件数量
3)可构建在廉价机器上,通过多副本机制,提高可靠性

缺点:

1)不适合低延时数据访问
2)无法高效的对大量小文件进行存储
存储大量小文件会占用namenode大量的内存来存储文件目录和块信息,并且小文件存储的寻址时间会超过读取时间
3)不支持并发写入,不支持文件随机修改

HDFS组成架构

在这里插入图片描述
1) NameNode(NN):就是Master,是一个主管者
(1)管理HDFS名称空间
(2)配置副本信息
(3)管理数据块映射空间
(4)处理客户端读写请求
2)DataNode(DN):就是Slave,NameNode下达命令,DataNode执行实际操作
(1)存储实际的数据块
(2)执行数据块的读写操作
3)Client:就是客户端
(1)文件切分,文件上传HDFS的时候,Client将文件切分成Block,然后上传
(2)与NameNode交互,读取文件的位置信息
(3)与DataNode交互,读取或者写入数据
(4)Client提供一些命令来管理HDFS,如NameNode格式化
(5)Client可以通过一些命令来访问HDFS,如对HDFS的增删查改操作
4)Secondary NameNode:并非Namenode的热备,当namenode挂掉的时候,它并不能马上替换namenode并提供服务
(1)辅助NameNode,分担其工作量,比如定期合并Fsimage和Edits,并推送给NameNode
(2)在紧急情况下,可辅助恢复NameNode

HDFS文件块大小

在这里插入图片描述
在这里插入图片描述

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!