HDFS的基准测试

喜你入骨 提交于 2020-03-01 19:43:35

           实际生产环境当中,hadoop的环境搭建完成之后,第一件事情就是进行压力测试,测试我们的集群的读取和写入速度,测试我们网络带宽是否足够等一些基准测试

测试写入速度:

 

向HDFS文件系统中写入数据,10个文件,每个文件10MB,文件存放到/benchmarks/TestDFSIO中

hadoop jar /export/servers/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.5.jar TestDFSIO  -write  -nrFiles 10 -fileSize  10MB

完成之后查看写入速度结果:

hdfs dfs -text /benchmarks/TestDFSIO/io_write/part-00000
 

测试读取结果:

测试hdfs的读取文件性能

在HDFS文件系统中读入10个文件,每个文件10M

hadoop jar /export/servers/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.5.jar TestDFSIO  -read -nrFiles 10 -fileSize  10MB

查看读取结果:

hdfs dfs -text /benchmarks/TestDFSIO/io_read/part-00000

 

清楚测试数据:

hadoop jar /export/servers/hadoop-2.7.5/share/hadoop/mapreduce/hadoopmapreduce-client-jobclient-2.7.5.jar TestDFSIO -clean
 

 

 

 

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!