구티

Pandas Dataframe 에서는 size 함수를 이용하여 row 의 개수를 받아 올 수 있지만, spark sql dataframe에는 size 함수가 없다고 나온다. 대신에, count 를 사용하면 row의 개수를 받아올 수 있다. df.count

import org.apache.hadoop.fs.{FileSystem, Path} val fs = FileSystem.get(sc.hadoopConfiguration) val outPutPath = new Path("/path/to/folder") if (fs.exists(outPutPath)) fs.delete(outPutPath, true)FileSystem 을 사용하여 파일 또는 폴더를 삭제 할 수 있다.

1. Maven의 Scala Archetype으로 프로젝트를 생성 ( 없는 경우, Add Archetype으로 추가하여 생성 ) GroupId: net.alchim31.maven ArtifactId: scala-archetype-simple Version: 1.6 2. Scala SDK Setup App.scala 소스 파일에 Setup Scala SDK 라고 뜨면, 누르고 SDK 를 선택 해 준다. 3. pom.xml 수정 - dependency 추가 org.specs2specs2-junit\_${scala.compat.version}2.4.16test 4. pom.xml 수정 - configuration > args 에 있는 arg 를 주석 처리 5. 실행해서, Scala 개발 환경이 구축되어 잘 돌..