Spark 개발 프로젝트( IntelliJ, Scala, Maven )
1. Maven의 Scala Archetype으로 프로젝트를 생성
( 없는 경우, Add Archetype으로 추가하여 생성 )
GroupId: net.alchim31.maven
ArtifactId: scala-archetype-simple
Version: 1.6
2. Scala SDK Setup
App.scala 소스 파일에 Setup Scala SDK 라고 뜨면, 누르고 SDK 를 선택 해 준다.
3. pom.xml 수정 - dependency 추가
org.specs2specs2-junit\_${scala.compat.version}2.4.16test
4. pom.xml 수정 - configuration > args 에 있는 arg 를 주석 처리
5. 실행해서, Scala 개발 환경이 구축되어 잘 돌아가는지 확인한다.
6. Spark 을 위한 dependency 추가
org.apache.spark spark-core\_2.11 2.2.0 org.apache.spark spark-sql\_2.11 2.2.0
7. 테스트 코드 작성
: sparkSession을 하나 생성하고, 로그 찍는 코드를 작성한다.
8. jar 생성
: IntelliJ Maven 에서 clean > build > package 순으로 실행해서 jar 파일을 만든다.
9. spark-submit 실행
: jar 파일을 서버로 전달하고( ftp ), 서버에서 spark-submit 으로 jar를 수행한다.
spark-submit --master yarn --class com.xxx.App xxx.jarxxx.jar의 com.xxx.App Object를 호출하여 yarn 클러스터에 jar를 수행하여, 로그가 정상적으로 찍히는지 확인하면 된다.
