구티

Pandas Dataframe 에서는 size 함수를 이용하여 row 의 개수를 받아 올 수 있지만, spark sql dataframe에는 size 함수가 없다고 나온다. 대신에, count 를 사용하면 row의 개수를 받아올 수 있다. df.count

import org.apache.hadoop.fs.{FileSystem, Path} val fs = FileSystem.get(sc.hadoopConfiguration) val outPutPath = new Path("/path/to/folder") if (fs.exists(outPutPath)) fs.delete(outPutPath, true)FileSystem 을 사용하여 파일 또는 폴더를 삭제 할 수 있다.

META-INF 폴더에 있는 서명파일이 유효하지 않아 아래와 같은 runtime Exception 이 발생하는 경우가 있다. Exception in thread "main" [java.lang.SecurityException:](java.lang.SecurityException:) Invalid signature file digest for Manifest main attributes 이때는, uber Jar 에 포함되어 있는 서명파일을 제거 해줘야 한다. filters를 사용하여 Jar에 포함되지 않도록 한다. *:* META-INF/maven/** META-INF/*.SF META-INF/*.DSA META-INF/*.RSA 참조 https://cloud.google.com/dataproc/docs/..

JAR 를 만들고 Spark 실행을 하면, 아래와 같이 에러가 발생 할 때가 있다. Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;C)V at com.google.common.io.BaseEncoding$Alphabet.(BaseEncoding.java:458) at com.google.common.io.BaseEncoding$Base64Encoding.(BaseEncoding.java:940) at com.google.common.io.BaseEncoding.(BaseEncoding.java:322) at com.google...

1. Maven의 Scala Archetype으로 프로젝트를 생성 ( 없는 경우, Add Archetype으로 추가하여 생성 ) GroupId: net.alchim31.maven ArtifactId: scala-archetype-simple Version: 1.6 2. Scala SDK Setup App.scala 소스 파일에 Setup Scala SDK 라고 뜨면, 누르고 SDK 를 선택 해 준다. 3. pom.xml 수정 - dependency 추가 org.specs2specs2-junit\_${scala.compat.version}2.4.16test 4. pom.xml 수정 - configuration > args 에 있는 arg 를 주석 처리 5. 실행해서, Scala 개발 환경이 구축되어 잘 돌..

spark-submit 은 Spark의 bin 디렉터리에 있는 스크립트로써, 클러스터에서 application을 수행하기 위해 사용된다. ./bin/spark-submit \ --class \ --master \ --deploy-mode \ --conf = \ ... # other options \ [application-arguments]옵션 --class : applicaiton 의 entry point --master : cluster의 master URL --deploy-mode : (cluster)worker nodes에 배포를 할지, (client)로컬에 external client에 배포를 할지 : default 는 client --conf : 임의 spark 설정 property( key=..