본문 바로가기

데이터3

스파크 경험해보기 안녕하세요 크리넥스을라스입니다. 스파크를 공부하기 시작하면서 공부한 내용들을 조금씩 정리해 볼려고 합니다. 저는 맥북 m1 에어를 사용하고 있으며, 스파크 설치 버전은 3.3.1 입니다. 파이썬 저는 터미널에서 pyspark 혹은 Spark의 bin 폴더에서 pyspark 명령어로 다음과 같은 화면을 실행시켰습니다. 이 화면에서 저희는 스파크를 이용해 데이터 분석을 수행할 수 있습니다. 저도 배워가는 입장이니 간단하게 2022 시즌 K리그 득점 순위 기록을 가지고 데이터를 다뤄보도록 하겠습니다. 저는 그냥 웹페이지의 글을 복사해서 하나의 csv 파일로 만들었습니다. 데이터가 준비되었다면 한 번 스파크에서 데이터를 불러오도록 하겠습니다. 스파크에서 데이터를 불러올 때는 다음과 같은 명령문을 사용하는데 자세.. 2023. 1. 7.

간단하게 하둡 사용해보기(wordcount) 하둡을 설치했으니 가장 기본적인 예제인 wordcount를 한 번 해보겠습니다. 책의 예제는 hadoop-env.sh 파일 속 영단어를 세는 것인데, 저는 간단하게 뉴스 기사를 사용하겠습니다. http://news.tf.co.kr/read/entertain/1987544.htm '유퀴즈' 김민재·황인범, 월드컵 16강 진출 비하인드 공개 김민재 "손흥민 호통 장면에 싸가지 없단 소리 들어" 고백 국가대표 축구선수 김민재와 황인범이 21일 방송된 tvN 유 퀴즈 온 더 블록에서 2022 카타르 월드컵 비화를 공개했다.. news.tf.co.kr 해당 기사의 내용을 텍스트 파일로 바탕화면에 저장했습니다. 이후 /opt/homebrew/Cellar/hadoop/3.3.4/libexec/bin 경로로 이동해 하.. 2022. 12. 23.

Plotly - 막대그래프 Plotly¶파이썬을 이용해 데이터 분석을 하면서 matplotlib, seaborn으로 그래프를 가장 많이 그렸다. 이때는 이 두 라이브러리 이외에는 그래프를 그릴 수 있는 라이브러리가 있다고는 생각을 못 했던 것 같다. 그러다 2021년 초에 인턴이 끝나고 집에서 놀고 있을 때 우연히 Plotly, Bokeh 같은 라이브러리들을 알게 되었고, 그래프가 예쁘게 그려지니깐 확실히 더 그래프를 그리는 맛이 생겼다.Plotly로 그릴 수 있는 그래프에 대한 정보는 https://plotly.com/python/ 이곳에서 더 찾아볼 수 있으며, 지금은 간단하게 그래프를 그려보고자 기록을 남긴다. Plotly 설치하기¶In [ ]:# plotly 설치하기pip install plotlyIn [ ]:# 설치하면서.. 2021. 8. 19.

이전 1 다음

티스토리툴바