初学hadoop之linux系统操作的hdfs的常用命令

♀尐吖头ヾ 提交于 2020-03-05 20:51:58

在对linux的一般操作有 ls mikdir rmdir vi 等操作
  在对hadoop的hdfs的一般操作语法为hadoop fs -ls /   /**表示查看Hadoop跟目录文件**/ 
  hadoop fs -lsr /   /***递归查看hadoop的文件目录**/
  hadoop fs -mkdir  /dl  /**表示在hdfs的根目录下创建了一个的d1的文件夹**/e
  hadoop的hdfs一般创建文件操作很少,在linux上传较多
  语法为:
   hadoop fs -put linux文件路径(也是要上传文件的路径) 空格  hadoop的hdfs的路径
   例如,把linux下root下install.log文件上传的hadoop的hdfs的d1目录下
   命令操作位
    hadoop fs -put /root/install.log  /d1
   在上传文件时注意:
   当你上传文件到hadoop的hdfs文件目录不存在的时候,hdfs会将你上传的文件名改为该文件
   夹的名称t
   hdfs上传文件如果存在会提示,可以该文件名上传   
   下载操作就是把-put 换成-get,源文件路径,目的地路径,此时原文件为hdfs了,目的地
   是linux了,语法与-put一样,只是原文和目的地互换了i1

   hdfs 查看文件语法
   hadoop fs -text /d1/adc    此语句的意思是查看hdfs的根目录下的d1文件夹下的abc文件


   hdfs 删除文件
   hadoop fs -rm /d1/adc  此语句的意思是删除hdfs的根目录下的d1文件夹下的abc文件

   
   hdfs 删除文件夹
   hadoop fs -rmr  /d1  此语句的意思是删除hdfs的根目录下的d1文件夹下的所有文件

   hdfs帮助文档
   hadoop fs
   hadoop fs -help 命令
  
   注意,hadoop fs -ls 没有接路径的话就会报错,如果有默认路径/user/root  root指当前用户
   就不会报错了

   完整写法
   hadoop  fs -ls hdfs://主机名:端口号





    NameNode
    namenode存放信息在源码的hdfs-default.xml里面有详细的说明,把起拷贝的core-site.XML中 
     <name>hadoop.tmp.dir</name>的value/dfs/name/current/fsimage指定
    namenode存放在linux的路径


   DataNode
   datanode存放信息在源码的hdfs-default.xml里面有详细的说明,把起拷贝的core-site.XML中 
     <name>hadoop.tmp.dir</name>的value/dfs/data/currentssss指定
    datanode存放在linux的路径

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!