HDFS 常用 shell 命令

HDFS 常用 shell 命令

  1. 显示当前目录结构

    1
    2
    3
    4
    5
    6
    # 显示当前目录结构
    hadoop fs -ls <path>
    # 递归显示当前目录结构
    hadoop fs -ls -R <path>
    # 显示根目录下内容
    hadoop fs -ls /
  2. 创建目录

    1
    2
    3
    4
    # 创建目录
    hadoop fs -mkdir <path>
    # 递归创建目录
    hadoop fs -mkdir -p <path>
  3. 删除操作

    1
    2
    3
    4
    # 删除文件
    hadoop fs -rm <path>
    # 递归删除目录和文件
    hadoop fs -rm -R <path>
  4. 从本地加载文件到 HDFS

    1
    2
    3
    # 二选一执行即可
    hadoop fs -put [localsrc] [dst]
    hadoop fs - copyFromLocal [localsrc] [dst]
  5. 从 HDFS 导出文件到本地

    1
    2
    3
    # 二选一执行即可
    hadoop fs -get [dst] [localsrc]
    hadoop fs -copyToLocal [dst] [localsrc]
  6. 查看文件内容

    1
    2
    3
    # 二选一执行即可
    hadoop fs -text <path>
    hadoop fs -cat <path>
  7. 显示文件的最后一千字节

    1
    2
    3
    hadoop fs -tail  <path> 
    # 和Linux下一样,会持续监听文件内容变化 并显示文件的最后一千字节
    hadoop fs -tail -f <path>
  8. 拷贝文件

    1
    hadoop fs -cp [src] [dst]
  9. 移动文件

    1
    hadoop fs -mv [src] [dst] 
  10. 统计当前目录下各文件大小
    默认单位字节

-s : 显示所有文件大小总和,
-h : 将以更友好的方式显示文件大小(例如 64.0m 而不是 67108864)

1
hadoop fs -du  <path>  
  1. 合并下载多个文件

-nl 在每个文件的末尾添加换行符(LF)
-skip-empty-file 跳过空文件

1
2
3
hadoop fs -getmerge
# 示例 将HDFS上的hbase-policy.xml和hbase-site.xml文件合并后下载到本地的/usr/test.xml
hadoop fs -getmerge -nl /test/hbase-policy.xml /test/hbase-site.xml /usr/test.xml
  1. 统计文件系统的可用空间信息
    1
    hadoop fs -df -h /
文章目录
  1. 1. HDFS 常用 shell 命令
© 2015-2020 zhangdeshuai 粤ICP备15075505号 本站总访问量