구티

JAR 를 만들고 Spark 실행을 하면, 아래와 같이 에러가 발생 할 때가 있다. Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;C)V at com.google.common.io.BaseEncoding$Alphabet.(BaseEncoding.java:458) at com.google.common.io.BaseEncoding$Base64Encoding.(BaseEncoding.java:940) at com.google.common.io.BaseEncoding.(BaseEncoding.java:322) at com.google...

scala 를 maven 으로 package 할 때, dependencies 를 빼고 jar를 만들게 된다. dependency를 다 포함하여 jar를 만드려면, 아래 플러그인을 추가하면 된다. org.apache.maven.plugins maven-assembly-plugin 2.2-beta-5 jar-with-dependencies package single

1. Maven의 Scala Archetype으로 프로젝트를 생성 ( 없는 경우, Add Archetype으로 추가하여 생성 ) GroupId: net.alchim31.maven ArtifactId: scala-archetype-simple Version: 1.6 2. Scala SDK Setup App.scala 소스 파일에 Setup Scala SDK 라고 뜨면, 누르고 SDK 를 선택 해 준다. 3. pom.xml 수정 - dependency 추가 org.specs2specs2-junit\_${scala.compat.version}2.4.16test 4. pom.xml 수정 - configuration > args 에 있는 arg 를 주석 처리 5. 실행해서, Scala 개발 환경이 구축되어 잘 돌..

프로젝트 마다 새로운 Intellij 창으로 열기 위해서는 옵션을 변경하면 된다. Preferences > Appearance & Behavior > System Settings > Project Opening > Open project in new window 를 체크해 주면, 프로젝트를 열 때 새로운 윈도우에서 열린다.

spark-submit 은 Spark의 bin 디렉터리에 있는 스크립트로써, 클러스터에서 application을 수행하기 위해 사용된다. ./bin/spark-submit \ --class \ --master \ --deploy-mode \ --conf = \ ... # other options \ [application-arguments]옵션 --class : applicaiton 의 entry point --master : cluster의 master URL --deploy-mode : (cluster)worker nodes에 배포를 할지, (client)로컬에 external client에 배포를 할지 : default 는 client --conf : 임의 spark 설정 property( key=..

Gradle에서는 하나의 Source 디렉터리만 지원을 해줍니다.( src/main/java ) SourceSets은 이러한 제약사항을 지원하기 위해 사용이 됩니다. SourceSets은 Java 소스와 리소스 파일의 논리적인 그룹을 나타내줍니다. 하나 이상의 Source 디렉터리를 Gradle에서 처리를 하기 위해서 SourceSets에 Source 디렉터리를 등록해 주면 됩니다. java plugin 에 SourceSets 이 등록되어 있고, main이라는 entry name이 default로 등록되어 있습니다. 아래와 같이 SourceSets에 source 디렉터리를 등록 할 수 있습니다. sourceSets { main { java { srcDir 'src/main/java2' } } } 그리고,..

gradle 에 plugin 을 적용하는 방법은 아래의 2가지 방법이 있습니다. 그럼 2가지의 차이점이 뭐냐면,, 없습니다. 그냥 1번 방법이 먼저 나오고, 나중에 2번 방법이 추가 되었습니다. 결론은 아무거나 사용해도 됩니다. apply plugin apply plugin: 'java' plugins task plugins { id 'java' id 'xxx' version 'x.x.x' } 참조 https://stackoverflow.com/questions/32352816/what-the-difference-in-applying-gradle-plugin

download failed: javax.media#jai\_core;1.1.3!jai\_core.jar maven central repository 에서 jai_core.jar 파일을 찾지 못하여 발생하는 에러이다. https://repo1.maven.org/maven2/javax/media/jai_core/1.1.3/ repository 에 가보면, jar 파일이 없는 것을 알수 있다. http://download.osgeo.org/webdav/geotools repository 를 추가하면, jar 를 받을 수 있다. repositories { maven { url "http://download.osgeo.org/webdav/geotools/" } mavenCentral() }

APM 동작을 안하거나, APM 에서 service 를 못찾거나, APM 에서 Configuration 생성 시에 에러가 나거나 하는 경우가 있으면, apm 관련 에러 index 에서 ES 의 index가 block이 됐다거나 read-only, allow delete (api) 의 메시지를 보게 되면 아래와 같이... index \[.kibana\_1\] blocked by: \[forbidden/12/index read-only / allow delete (api)\]; 일일히 찾아서 설정을 변경해줘도 좋지만, 그냥 모든 인덱스 설정을 변경해줘도 된다. curl -XPUT localhost:9200/_all/_settings -H 'Content-Type: application/json' -d '{"..

Load Kibana 수행 시, 아래와 같이 에러가 나는 경우가 있다. unable to add 1 of 1 kibana objects, error: index [.kibana_1] blocked by: [forbidden/12/index read-only / allow delete (api)]; .kibana_1 인덱스가 block 이 되어 에러가 난 경우다. 아래 명령어를 통해 ES의 .kibana_1 인덱스의 설정을 변경해주자. curl -XPUT localhost:9200/.kibana_1/_settings -H 'Content-Type: application/json' -d '{"index":{"blocks":{"read_only_allow_delete":false}}}' 그러면, Load ki..