Hadoop HDFS提供了一组命令集来操作文件,它既可以操作Hadoop分布式文件系统,也可以操作本地文件系统。但是要加上theme(Hadoop文件系统用hdfs://,本地文件系统用file://)
1. 添加文件,目录
HDFS文件系统(需要加hdfs://):
因为我们在core-site.xml中配置了fs.default.name
所以所有和HDFS打交道的命令都不需要加上前缀hdfs://192.168.129.35:9000
比如我们要在Hadoop 文件系统中创建一个目录叫 /user/hadoop-user ,则
hadoop fs -mkdir /user/hadoop-user
要查看我们创建的目录,
hadoop fs -ls /
或者用 hadoop fs -lsr / 递归的显示子目录
本地的文件系统(需要加file://):
比如我们要查看Linux本地文件系统的/tmp/charles目录,则:
2.移动复制文件,目录
如果我们要把一个文件从本地文件系统复制到HDFS:
比如我们在/tmp/charles目录下有个文件叫 textfile.txt,那么我们想上传到HDFS中我们刚才创建的/user/hadoop-user目录下:
hadoop fs -put /tmp/charles/textfile.txt /user/hadoop-user
我们用 hadoop fs -ls 来查看是否这个文件已经被添加:
时间: 2024-10-27 08:31:18