[ Hadoop ] HDFS 명령어

du - 사이즈

Usage: hdfs dfs -du [-s] [-h] URI [URI ...]

$ hdfs dfs -du -h -s /path/to/dir
11.7 G  35.1 G  /path/to/dir

-s : 사이즈의 sum 을 보여줌
-h : 읽기 쉽게 단위와 함께 사이즈를 보여줌

Output : 파일/폴더의 실제 용량, hdfs에서 실제로 사용하고 있는 용량( replica ), 경로

--apparent-size?( du -h --apparent-size )

ls - 리스트

Usage: hadoop fs -ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] <args>

$ hdfs dfs -ls -C -r /path/to/dir
/user/devapp/d
/user/devapp/c
/user/devapp/b
/user/devapp/a

$ hdfs dfs -ls -C -r /path/to/dir | head -1
/user/devapp/d

• -C: Display the paths of files and directories only.
• -d: Directories are listed as plain files.
• -h: Format file sizes in a human-readable fashion (eg 64.0m instead of 67108864).
• -q: Print ? instead of non-printable characters.
• -R: Recursively list subdirectories encountered.
• -t: Sort output by modification time (most recent first).
• -S: Sort output by file size.
• -r: Reverse the sort order.
• -u: Use access time rather than modification time for display and sorting.

get - hdfs to local 다운로드

Usage: hdfs dfs -get [-ignorecrc] [-crc] {src} {localdst}

$ hdfs dfs -get /path/from/dir /path/to/dir

: hdfs 에 있는 파일을 로컬로 다운로드

Usage: hdfs dfs -getmerge {src} {localdst} [addnl]

$ hdfs dfs -get /path/from/dir /path/to/dir/file.csv

: hdfs 에 있는 여러 파일을 로컬 파일에 append 하여 하나의 파일로 다운로드
: hdfs 에 파티션으로 나뉘어져 분산 저장되어 있는 파일을 하나의 파일로 합쳐서 다운로드 할 때 사용한다.

rm - 삭제

Usage: hadoop fs -rm [-f] [-r |-R] [-skipTrash] [-safely] URI [URI ...]

$ hdfs dfs -rm -r /path/to/dir

: dir 디렉토리 삭제

• -f : 진단 메시지를 보이지 않거나, 파일이 존재 하지 않을 경우 에러를 나타내기 위한 exist status 를 수정한다.
• -r : 컨텐츠와 디렉터리를 recursive 하게 삭제한다.

$ hdfs dfs -rm -r /path/to/dir{1, 2, 3}
$ hdfs dfs -rm -r /path/to/dir{*}

: 하나의 또는 여러 개의 폴더의 이름을 직접 명시하여 삭제를 할 수 있지만, 패턴으로 삭제도 가능하다.
: dir1 dir2 dir3 를 삭제하거나 dir로 시작하는 모든 파일/폴더를 삭제할 수 있다.

참조

https://blog.voidmainvoid.net/175
https://hadoop.apache.org/docs/r2.8.5/hadoop-project-dist/hadoop-hdfs/HDFSCommands.html#dfs
https://hadoop.apache.org/docs/r2.8.5/hadoop-project-dist/hadoop-common/FileSystemShell.html#ls