구티

리눅스에서 일정 주기나 특정시간에 명령을 실행할 때 사용하는 것이 크론탭 이다. 간단히 말해서 스케쥴러 라고 생각을 하면 된다. 사용 하는 방법은 아래와 같다. 크론탭 명령어 $ crontab -e # crontab 작성 $ crontab -l # crontab 작업 리스트 보기 $ crontab -r # crontab 모든 작업 삭제크론탭 작성 # * * * * * command * * * * * /home/user/test.sh: 위와 같이 먼저, 5개의 실행 주기에 대한 정의를 해준다. 분 시 일 월 요일 의 순서이다. 사용 가능한 값은 아래와 같다. 분 : 0 - 59 시 : 0 - 23 일 : 1 - 31 월 : 1 - 12 요일 : 0 - 7 ( 0,7 : 일요일 / 1 : 월요일 / 2 : ..

데이터 작업을 하다 보면, csv 파일 용량이 너무 커서 엑셀에서 열수가 없는 경우가 있다. 그런데 데이터 검증을 위해서 각 컬럼의 합을 확인해야되는 경우가 있는데 이떄는 리눅스 커맨드 창에서, csv 파일의 column 값의 합계를 구할 수 있다. $ awk -F"," '{print;total+=$2}END{print "Total " total}' ./test.csv x,y,z 1,2,3 4,5,6 Total 7: print 로 모든 줄을 출력하며 계산을 해준다. 일반적으로 파일이 너무 크면 print를 하게 되면 너무 오래 걸리므로 print; 부분을 제외하고 계산하는 부분만 두면 된다. : 첫 줄이 header이건 아니건 알아서 계산은 잘 되니 신경을 쓰지 않아도 된다. awk -F"..

du - 사이즈 Usage: hdfs dfs -du [-s] [-h] URI [URI ...] $ hdfs dfs -du -h -s /path/to/dir 11.7 G 35.1 G /path/to/dir-s : 사이즈의 sum 을 보여줌 -h : 읽기 쉽게 단위와 함께 사이즈를 보여줌 Output : 파일/폴더의 실제 용량, hdfs에서 실제로 사용하고 있는 용량( replica ), 경로 --apparent-size?( du -h --apparent-size ) ls - 리스트 Usage: hadoop fs -ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] $ hdfs dfs -ls -C -r /path/to/dir /user/devapp/d /user/devapp..