HDFS分布式文件系统

会有一股神秘感。 提交于 2020-03-01 02:06:05
适合的应用场景:
   存储非常大的文件: 
                  这里非常大指的是几百M、G、或者TB级别,需要高吞吐量,对延时没有要求。
   采用流式的数据访问方式: 
                 即一次写入,多次读取,数据集经常从数据源生成或者拷贝一次,
                 然后在其上做很多分析工作。
   运行于商业硬件上:
                 Hadoop不需要特别贵的机器,可运行于普通廉价机器,可处节约成本。
    需要高容错性
    为数据存储提供所需要的扩展能力
不适合的应用场景:
     低延时的数据访问对延时要求在毫秒级别的应用,不适合采用HDFS。
     HDFS是为高吞吐数据传输设计的,因此可能牺牲延时。
     大量小文件 : 
                文件的元数据保存在NameNode的内存中,整个文件系统的文件数量会受限于
                NameNode的内存的大小。经验而言,一个文件/目录/文件快一般占有150字节的元数据内存空间。如果有100万个文件,每个文件占用1个文件快,则需要大约300M的内存。因此十亿级别的文件数量在现有商用机器上难以支撑。
                多方读写,需要任意的文件修改HDFS采用追加 的方式写入数据。不支持文件任意offset的修改。不支持多个写入器。
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!