你的位置:首页 > 数据库

[数据库]hadoop常用的操作命令

1.显示hdfs上test目录下的所有文件列表

 hadoop fs -ls /test/

2.查看hdfs中的文件内容

hadoop fs -cat /daas/bstl/term/rawdt/20150805_9 | less

3.在hdfs上创建目录

hadoop fs -mkdir /test/datatest //创建datatest

4.从hdfs上复制文件到另外的一个目录下

hadoop fs -cp /test/cp1.txt  /test1/   //将cp1.txt从test目录下复制到test1目录下

5.从本地上传文件到hdfs上

例如本地有文件:test.txt

hadoop  fs -put test.txt /test/data/    //将test.txt 用put命令上传至hdfs中的data目录下

6.从hdfs上将文件下载到本地

例如hdfs上有文件test.txt

hadoop fs -get /test/data/test.txt

7.用超级用户给用户加权限

hadoop fs -chown lyb:lyb /test/lyb

8.查看hdfs文件夹的占用内存

hadoop fs -du -s -h /test/datatest/flume

9.删除hdfs上的文件

hadoop fs -rm /test/data/test.txt  //删除test.txt文件

hadoop fs -rmr /test/data/  //删除data目录

hadoop fs -rmr /test/data/* //删除data目录下所有的文件

10.hdfs上把文件的前十条数据取出并下载到本地,并重命名为txt文件

hadoop fs -text /daas/bstl/dpifix/sichuan/20151104/FixedDPI.2015110423.1446652074136.lzo_deflate |head -n 10 >> /tmp/sichuan3.txt

11.查看hdfs上文件内容的条数

hadoop fs -ls /test/datatest/test.txt | wc -l