HDFS 定义
HDFS(Hadoop Distributed File System),它是一个文件系统,用于储存文件,通过目录树来定位文件;其次,它是 分布式 的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。
HDFS的使用场景:适合一次写入,多次读出的场景,且不支持文件的修改。
HDFS 优缺点
优点:
1)高容错性
数据自动保存多个副本,某个副本丢失以后,它可以自动恢复
2)适合处理大数据
能够处理数据规模大的数据;能够处理百万规模以上的文件数量
3)可构建在廉价机器上,通过多副本机制,提高可靠性
缺点:
1)不适合低延时数据访问
2)无法高效的对大量小文件进行存储
存储大量小文件会占用namenode大量的内存来存储文件目录和块信息,并且小文件存储的寻址时间会超过读取时间
3)不支持并发写入,不支持文件随机修改
HDFS组成架构
1) NameNode(NN):就是Master,是一个主管者
(1)管理HDFS名称空间
(2)配置副本信息
(3)管理数据块映射空间
(4)处理客户端读写请求
2)DataNode(DN):就是Slave,NameNode下达命令,DataNode执行实际操作
(1)存储实际的数据块
(2)执行数据块的读写操作
3)Client:就是客户端
(1)文件切分,文件上传HDFS的时候,Client将文件切分成Block,然后上传
(2)与NameNode交互,读取文件的位置信息
(3)与DataNode交互,读取或者写入数据
(4)Client提供一些命令来管理HDFS,如NameNode格式化
(5)Client可以通过一些命令来访问HDFS,如对HDFS的增删查改操作
4)Secondary NameNode:并非Namenode的热备,当namenode挂掉的时候,它并不能马上替换namenode并提供服务
(1)辅助NameNode,分担其工作量,比如定期合并Fsimage和Edits,并推送给NameNode
(2)在紧急情况下,可辅助恢复NameNode
HDFS文件块大小
来源:CSDN
作者:Nicht_Sehen
链接:https://blog.csdn.net/Nicht_sehen/article/details/104599564