适合的应用场景:
存储非常大的文件:
这里非常大指的是几百M、G、或者TB级别,需要高吞吐量,对延时没有要求。
采用流式的数据访问方式:
即一次写入,多次读取,数据集经常从数据源生成或者拷贝一次,
然后在其上做很多分析工作。
运行于商业硬件上:
Hadoop不需要特别贵的机器,可运行于普通廉价机器,可处节约成本。
需要高容错性
为数据存储提供所需要的扩展能力
不适合的应用场景:
低延时的数据访问对延时要求在毫秒级别的应用,不适合采用HDFS。
HDFS是为高吞吐数据传输设计的,因此可能牺牲延时。
大量小文件 :
文件的元数据保存在NameNode的内存中,整个文件系统的文件数量会受限于
NameNode的内存的大小。经验而言,一个文件/目录/文件快一般占有150字节的元数据内存空间。如果有100万个文件,每个文件占用1个文件快,则需要大约300M的内存。因此十亿级别的文件数量在现有商用机器上难以支撑。
多方读写,需要任意的文件修改HDFS采用追加 的方式写入数据。不支持文件任意offset的修改。不支持多个写入器。
来源:CSDN
作者:散_步
链接:https://blog.csdn.net/zhumengguang/article/details/104579013