HDFS是分布式文件系统,它默认的存储单元是64M的数据块, 包括namenode,datanode,secondary namenode.
namenode(元数据节点): 1.namenode是用来管理文件系统的命名空间的,它将所有的文件和文件夹的元数据都保存在一个文件系统树中。 2.这些信息也会在硬盘上保存成命名空间镜像(namespace image)及修改日志(edit log)。 3.它还保存了一个文件里面包括哪些数据块,分布在哪些数据节点上,但是这些信息不存储在硬盘上,而是系统启动时从数据节点(datanode)收集的。
datanode(数据节点):datanode是真正存储数据的地方。 1.client或者namenode可以向datanode请求写入或者读出数据块。 2.定时向namenode汇报存储数据块信息。
seccondary namenode(从元数据节点):它并不是备用的namenode节点,它负责不同的事。 1.它会周期性地将namenode的namespace image和 editlog合并,以防日志文件过大。 2.合并之后的namespace image会在secondary namenode中保存一份,防止namenode节点失败时可以恢复
来源:oschina
链接:https://my.oschina.net/u/4085644/blog/3019937