du - 사이즈 Usage: hdfs dfs -du [-s] [-h] URI [URI ...] $ hdfs dfs -du -h -s /path/to/dir 11.7 G 35.1 G /path/to/dir-s : 사이즈의 sum 을 보여줌 -h : 읽기 쉽게 단위와 함께 사이즈를 보여줌 Output : 파일/폴더의 실제 용량, hdfs에서 실제로 사용하고 있는 용량( replica ), 경로 --apparent-size?( du -h --apparent-size ) ls - 리스트 Usage: hadoop fs -ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] $ hdfs dfs -ls -C -r /path/to/dir /user/devapp/d /user/devapp..
#!/usr/bin/env bash 스크립트 파일이 bash shell script 인지 알려주기 위해 선언하는 부분이다. 변수, 출력, 주석 #!/usr/bin/env bash echo "hello" # this is comment str="hello" echo ${str} echo 로 문자열 출력을 할 수 있다. 주석은 # 을 선언하면 주석이 된다. 변수는 공백 없이 = 연산자를 사용하면 된다. 기본적으로 전역 변수가 되나, 현재 실행된 스크립트에서만 유효하다.( 자식 스크립트에서는 사용 불가 ) 변수 앞에 export 를 선언하면, 환경 변수로 등록이 되어 자식 스크립트에서도 사용 가능하다. local 을 선언하면, 함수 안에서 지역 변수로 사용 가능하다. 위치 매개 변수( Positional Pa..
특정 filed의 key의 value에 있는 json 값을 파싱하여, 특정 위치에 위치시키는 역활을 한다. 어디에 위치 할지 정하지 않으면, 디폴트 값으로 root에 위치를 시킨다. input { stdin { } } filter { json { source => "message" } } output { stdout { codec => rubydebug } }위의 json filter는 message 라는 키에 있는 값을 json 파싱하여, root에 위치 시킨다. 1 [WARN ] 2020-03-19 20:28:28.002 [[main]>worker7] json - Parsed JSON object/hash requires a target configuration option {:source=>"mes..
아래와 같이 config.reload.automatic 옵션을 넣어 logstash 를 실행하면, conf 파일을 변경하여 logstash를 재시작 할 필요 없이 수정된 conf파일을 reload 하여 적용해주는 좋은 옵션이다. 하지만 conf 파일을 수정하고 난 뒤에 간간히 아래와 같은 메시지를 만나는 경우가 있다. [ERROR] 2020-03-19 20:20:25.482 [Converge PipelineAction::Reload] agent - Failed to execute action {:id=>:main, :action_type=>LogStash::ConvergeResult::FailedAction, :message=>"Cannot reload pipeline, because the existi..
random 로그 이벤트를 생성하기 위해 사용한다. 주로 plugin들의 성능테스트를 위해 사용한다. 하지만 나는 그냥 filter 테스트를 사용을 하고 있다. logstash 에 stdin 으로 입력을 받으면 line 별로 입력을 받고 있어, 가지고 있는 json 을 복붙 해서 사용하기가 불편해서 그냥 conf 파일에 한줄짜리 json 들을 넣어놓고 반복적으로 사용을 한다. generator 에는 아래 2가지 옵션이 있다. count 기본 값은 0이고, number 타입이다. 메세지를 몇 번 만들지 설정 할 수 있는 값이다. lines 기본 값은 없고, array 타입이다. input { generator { lines => [ '{"from_ip": "10.2.3.20", "app": "foo..
logstash 에 데이터가 들어오면, input 데이터 외에 기본 logstash 데이터가 추가 되게 된다. @version, message, @timestamp, host 네 가지다. 아래의 간단한 conf 파일을 정의하고, logstash 를 실행 해보자. input { stdin { } } filter { } output { stdout { codec => rubydebug } }logstash가 실행되면, 터미널에 더 이상 아무것도 찍히지 않고, stdin 으로 입력을 기다리게 된다. 터미널에 test 라고 키보드로 입력을 하고 엔터를 눌러보면 아래와 같이 출력이 된다. test { "@version" => "1", "message" => "test", "@timestamp" => 2020-03..
PATH 는 ~/.bash_profile 에서 정의를 할 수 있다. PATH 변수 제일 마지막에 콜론( : ) 으로 경로를 추가 할 수 있다. LOGSTASH_HOME/bin 을 추가 하였다. LOGSTASH_HOME=/usr/share/logstash PATH=$PATH:$HOME/.local/bin:$HOME/bin:$HOME/apache-jmeter-5.1.1/bin:$LOGSTASH_HOME/bin export PATH파일을 수정하고 난 뒤에 path 를 확인해 보면, 방금 적용한 경로가 나오지 않는다. $ echo $PATH 블라블라블라/apache-jmeter-5.1.1/bin터미널을 다시 시작해야 수정한 PATH 가 적용되게 되는데 그게 귀찮다면, 아래 명령어를 수행하면, 별도 터미널 재시작..
Mac 에서 afp 로 시놀로지 공유 폴더에 접근 시에, 특정폴더의 원본을 찾을 수 없으므로 이 작업을 완료할 수 없습니다. 라고 에러가 뜨는 경우가 있다. 그런데, 서버에 연결 메뉴로 개별 폴더를 직접 마운트 하면, 접근은 또 가능하다. 이런 경우, 시놀로지에 공유 설정은 전혀 문제가 없다고 볼 수 있는데 그럼 이걸 맥에서 해결을 해주어야 한다. 특별히 설정을 해줘야하는건 아니고, Option 키를 누른채로 Finder 아이콘에 마우스 오른쪽을 클릭하면, 재실행 이라는 메뉴가 나오는데 이걸 눌러서 재실행 해주게 되면, Finder 사이드 바에 있는 연결된 서버 를 통해 시놀로지에 접근을 할 수 있게 된다. 이거 때문에 엄청 삽질하고, 불편을 감수하면 afp 로 매번 연결을 시도해서 사용하고 했는데 단순..
gsutil gs://my-bucket/*.txt .: txt 파일 다운로드 gsutil cp *.txt gs://my-bucket: txt 파일 업로드 gsutil cp -r dir gs://my-bucket: 전체 폴더 트리를 통채로 복사 gsutil -m cp -r dir gs://my-bucket: 전체 폴더 트리를 병렬로 업로드 -j 옵션 체크하기 참조 https://cloud.google.com/storage/docs/gsutil/commands/cp https://cloud.google.com/storage/docs/gsutil/addlhelp/TopLevelCommandLineOptions
X-Frame-Options 헤더는 clickjacking attack을 방지하기 위해 사용하는 헤더이다. , or tag에 페이지 렌더링을 허용할지 말지를 정의 할 수 있다. SAMEORIGIN 같은 origin(서버) 에서는 렌더링을 허용 DENY 렌더링을 허용하지 않음 ALLOW-FROM url 특정 url에서만 렌더링을 허용 코드 httpSecurity.headers().frameOptions().disable().addHeaderWriter( new XFrameOptionsHeaderWriter( new StaticAllowFromStrategy(URI.create("*")) ) ) : httpSecurity 에서 allow-from 으로 모든 URI를 허용하는 코드이다. httpSecurity..
- Total
- Today
- Yesterday
- JSON
- mac
- apm
- scala
- Kibana
- AWS
- error
- JPA
- Size
- Spark
- intellij
- elasticsearch
- Index
- Java
- Git
- SpringBoot
- install
- tomcat
- Linux
- Container
- spring boot
- Log
- plugin
- docker
- logstash
- Filter
- maven
- Postman
- spring
- gradle
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |