특정 filed의 key의 value에 있는 json 값을 파싱하여, 특정 위치에 위치시키는 역활을 한다. 어디에 위치 할지 정하지 않으면, 디폴트 값으로 root에 위치를 시킨다. input { stdin { } } filter { json { source => "message" } } output { stdout { codec => rubydebug } }위의 json filter는 message 라는 키에 있는 값을 json 파싱하여, root에 위치 시킨다. 1 [WARN ] 2020-03-19 20:28:28.002 [[main]>worker7] json - Parsed JSON object/hash requires a target configuration option {:source=>"mes..
아래와 같이 config.reload.automatic 옵션을 넣어 logstash 를 실행하면, conf 파일을 변경하여 logstash를 재시작 할 필요 없이 수정된 conf파일을 reload 하여 적용해주는 좋은 옵션이다. 하지만 conf 파일을 수정하고 난 뒤에 간간히 아래와 같은 메시지를 만나는 경우가 있다. [ERROR] 2020-03-19 20:20:25.482 [Converge PipelineAction::Reload] agent - Failed to execute action {:id=>:main, :action_type=>LogStash::ConvergeResult::FailedAction, :message=>"Cannot reload pipeline, because the existi..
random 로그 이벤트를 생성하기 위해 사용한다. 주로 plugin들의 성능테스트를 위해 사용한다. 하지만 나는 그냥 filter 테스트를 사용을 하고 있다. logstash 에 stdin 으로 입력을 받으면 line 별로 입력을 받고 있어, 가지고 있는 json 을 복붙 해서 사용하기가 불편해서 그냥 conf 파일에 한줄짜리 json 들을 넣어놓고 반복적으로 사용을 한다. generator 에는 아래 2가지 옵션이 있다. count 기본 값은 0이고, number 타입이다. 메세지를 몇 번 만들지 설정 할 수 있는 값이다. lines 기본 값은 없고, array 타입이다. input { generator { lines => [ '{"from_ip": "10.2.3.20", "app": "foo..
logstash 에 데이터가 들어오면, input 데이터 외에 기본 logstash 데이터가 추가 되게 된다. @version, message, @timestamp, host 네 가지다. 아래의 간단한 conf 파일을 정의하고, logstash 를 실행 해보자. input { stdin { } } filter { } output { stdout { codec => rubydebug } }logstash가 실행되면, 터미널에 더 이상 아무것도 찍히지 않고, stdin 으로 입력을 기다리게 된다. 터미널에 test 라고 키보드로 입력을 하고 엔터를 눌러보면 아래와 같이 출력이 된다. test { "@version" => "1", "message" => "test", "@timestamp" => 2020-03..
PATH 는 ~/.bash_profile 에서 정의를 할 수 있다. PATH 변수 제일 마지막에 콜론( : ) 으로 경로를 추가 할 수 있다. LOGSTASH_HOME/bin 을 추가 하였다. LOGSTASH_HOME=/usr/share/logstash PATH=$PATH:$HOME/.local/bin:$HOME/bin:$HOME/apache-jmeter-5.1.1/bin:$LOGSTASH_HOME/bin export PATH파일을 수정하고 난 뒤에 path 를 확인해 보면, 방금 적용한 경로가 나오지 않는다. $ echo $PATH 블라블라블라/apache-jmeter-5.1.1/bin터미널을 다시 시작해야 수정한 PATH 가 적용되게 되는데 그게 귀찮다면, 아래 명령어를 수행하면, 별도 터미널 재시작..
Mac 에서 afp 로 시놀로지 공유 폴더에 접근 시에, 특정폴더의 원본을 찾을 수 없으므로 이 작업을 완료할 수 없습니다. 라고 에러가 뜨는 경우가 있다. 그런데, 서버에 연결 메뉴로 개별 폴더를 직접 마운트 하면, 접근은 또 가능하다. 이런 경우, 시놀로지에 공유 설정은 전혀 문제가 없다고 볼 수 있는데 그럼 이걸 맥에서 해결을 해주어야 한다. 특별히 설정을 해줘야하는건 아니고, Option 키를 누른채로 Finder 아이콘에 마우스 오른쪽을 클릭하면, 재실행 이라는 메뉴가 나오는데 이걸 눌러서 재실행 해주게 되면, Finder 사이드 바에 있는 연결된 서버 를 통해 시놀로지에 접근을 할 수 있게 된다. 이거 때문에 엄청 삽질하고, 불편을 감수하면 afp 로 매번 연결을 시도해서 사용하고 했는데 단순..
gsutil gs://my-bucket/*.txt .: txt 파일 다운로드 gsutil cp *.txt gs://my-bucket: txt 파일 업로드 gsutil cp -r dir gs://my-bucket: 전체 폴더 트리를 통채로 복사 gsutil -m cp -r dir gs://my-bucket: 전체 폴더 트리를 병렬로 업로드 -j 옵션 체크하기 참조 https://cloud.google.com/storage/docs/gsutil/commands/cp https://cloud.google.com/storage/docs/gsutil/addlhelp/TopLevelCommandLineOptions
- Total
- Today
- Yesterday
- Git
- maven
- Spark
- Java
- scala
- Log
- install
- apm
- elasticsearch
- Postman
- Index
- Filter
- plugin
- Kibana
- error
- gradle
- spring
- logstash
- docker
- mac
- spring boot
- Container
- AWS
- Linux
- intellij
- tomcat
- JPA
- SpringBoot
- JSON
- Size
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |