Spark 개발 프로젝트( IntelliJ, Scala, Maven )

1. Maven의 Scala Archetype으로 프로젝트를 생성

( 없는 경우, Add Archetype으로 추가하여 생성 )

GroupId: net.alchim31.maven
ArtifactId: scala-archetype-simple
Version: 1.6

2. Scala SDK Setup

App.scala 소스 파일에 Setup Scala SDK 라고 뜨면, 누르고 SDK 를 선택 해 준다.

3. pom.xml 수정 - dependency 추가

org.specs2specs2-junit\_${scala.compat.version}2.4.16test

4. pom.xml 수정 - configuration > args 에 있는 arg 를 주석 처리

5. 실행해서, Scala 개발 환경이 구축되어 잘 돌아가는지 확인한다.

6. Spark 을 위한 dependency 추가

org.apache.spark spark-core\_2.11 2.2.0 org.apache.spark spark-sql\_2.11 2.2.0

7. 테스트 코드 작성

: sparkSession을 하나 생성하고, 로그 찍는 코드를 작성한다.

8. jar 생성

: IntelliJ Maven 에서 clean > build > package 순으로 실행해서 jar 파일을 만든다.

IntelliJ > Maven View

9. spark-submit 실행

: jar 파일을 서버로 전달하고( ftp ), 서버에서 spark-submit 으로 jar를 수행한다.

spark-submit --master yarn --class com.xxx.App xxx.jar

xxx.jar의 com.xxx.App Object를 호출하여 yarn 클러스터에 jar를 수행하여, 로그가 정상적으로 찍히는지 확인하면 된다.

spark app log