Hadoop shell常用命令

自作多情 提交于 2020-04-06 20:12:28

总结一些 Hadoop 常用的 shell 命令:

命令说明
hdfs fs -help 查看命令帮助
hdfs fs -ls / 查看 hdfs 根目录下的文件列表
hdfs fs -put localsrc dst
hdfs fs -f -put localsrc dst
上传本地文件到 hdfs,若文件已存在则报错;
若文件存在,则覆盖上传
hdfs fs -get src localdst 从 hdfs 下载文件到本地
hdfs fs -cat file 查看某个文件内容
hdfs fs -cp srcfile dstfile 复制某个文件到另一个目录下
hdfs fs -df -h / 查看磁盘使用情况
hdfs fs -du -s -h hdfs://jing-hadoop:9000/* 统计根目录下的所有文件大小;
这里必须使用 hdfs 完整目录,否则统计不到
hdfs fs -mkdir -p /aa/bb 递归创建文件夹;
若不加 -p,不能递归创建
hdfs fs -rm filename
hdfs fs -rm -r /aa/bb
hdfs fs -rm -r /aa
删除指定文件;
删除 bb 整个目录,aa 目录还在;
删除整个 aa 目录及其子文件夹

需要注意的是,在 Hadoop 中已上传的文件内容不能被修改,但可以在原文件后面追加内容。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!