熟悉HDFS常用操作

发布时间:2024年01月06日

1. 利用Hadoop提供的Shell命令完成下列任务

  • (1)向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户指定是追加到原有文件末尾还是覆盖原有的文件。

#检查文件是否存在
./bin/hdfs dfs -test -e text.txt
echo $? #结果是1 代表已存在

#根据结果判断出文件已存在,则追加到cwn.txt文件末尾
./bin/hdfs dfs -appendToFile cwn.txt text.txt

  • (2)从HDFS中下载指定文件,如果本地文件与要下载的文件名称相同,则自动对下载的文件重命名

if $(hdfs dfs -test -e file:///home/hadoop/text.txt);
then $(hdfs dfs -copyToLocal text.txt ./text.txt);
else $(hdfs dfs -copyToLocal text.txt ./evil.txt);
fi

  • (3)将HDFS中指定文件的内容输出到终端中。

hdfs dfs -cat text.txt

  • (4)显示HDFS中指定的文件的读写权限、大小、创建时间、路径等信息;执行下列命令。

hdfs dfs -ls -h text.txt

  • (5)给定HDFS中某一个目录,输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息,如果该文件是目录,则递归输出该目录下所有文件相关信息。

./bin/hdfs dfs -ls -R -
文章来源:https://blog.csdn.net/whdehcy/article/details/135425655
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。