본문 바로가기

스파크(Spark)2

스파크 데이터 프레임(생성, 스키마) 안녕하세요 크리넥스을라스입니다. 오늘은 스파크의 데이터 프레임을 생성하는 법과 스키마에 대해서 정리해보려고 합니다. 데이터 프레임 생성 먼저 데이터 프레임을 생성하는 방법입니다. 간단하게 현재 EPL 득점 순위 상위 5명에 대한 정보로 만들어 보겠습니다. 먼저 스칼라에서 데이터 프레임을 만들 때는 Sequence 클래스를 사용해 다음과 같이 작성하면 됩니다. 생성하면 컬럼 이름이 없기 때문에 뒤에 toDF() 명령어로 컬럼명을 지정해주시면 컬럼명이 추가됩니다. # 데이터 프레임 생성(컬럼명 X) val self_df = spark.createDataFrame(Seq(("엘링 홀란드", 21), ("해리 케인", 15), ("이반 토니", 12), ("미트로비치", 11), ("모레노", 10))) # 데.. 2023. 1. 14.

스파크 경험해보기 안녕하세요 크리넥스을라스입니다. 스파크를 공부하기 시작하면서 공부한 내용들을 조금씩 정리해 볼려고 합니다. 저는 맥북 m1 에어를 사용하고 있으며, 스파크 설치 버전은 3.3.1 입니다. 파이썬 저는 터미널에서 pyspark 혹은 Spark의 bin 폴더에서 pyspark 명령어로 다음과 같은 화면을 실행시켰습니다. 이 화면에서 저희는 스파크를 이용해 데이터 분석을 수행할 수 있습니다. 저도 배워가는 입장이니 간단하게 2022 시즌 K리그 득점 순위 기록을 가지고 데이터를 다뤄보도록 하겠습니다. 저는 그냥 웹페이지의 글을 복사해서 하나의 csv 파일로 만들었습니다. 데이터가 준비되었다면 한 번 스파크에서 데이터를 불러오도록 하겠습니다. 스파크에서 데이터를 불러올 때는 다음과 같은 명령문을 사용하는데 자세.. 2023. 1. 7.

이전 1 다음

티스토리툴바