간단하게 하둡 사용해보기(wordcount)

하둡을 설치했으니 가장 기본적인 예제인 wordcount를 한 번 해보겠습니다.

 

책의 예제는 hadoop-env.sh 파일 속 영단어를 세는 것인데, 저는 간단하게 뉴스 기사를 사용하겠습니다.

 

http://news.tf.co.kr/read/entertain/1987544.htm

'유퀴즈' 김민재·황인범, 월드컵 16강 진출 비하인드 공개 

 

해당 기사의 내용을 텍스트 파일로 바탕화면에 저장했습니다.

 

이후 /opt/homebrew/Cellar/hadoop/3.3.4/libexec/bin 경로로 이동해 하둡 명령어들을 실행했습니다.

bin 폴더

 

먼저 HDFS에 파일을 올리기 전에 파일이 업로드될 폴더를 확인하겠습니다.

(처음에 바로 test 폴더를 만들어 버려서 저는 user 외에도 test 폴더가 있습니다)

hadoop fs -ls /

 

user 폴더에는 inamsu라는 폴더가 있는 것을 확인할 수 있고, 저는 inamsu 폴더 안에는 따로 폴더가 있지 않았습니다.

hadoop fs -ls /user

 

저는 다음과 같은 명령어를 이용해 inamsu 폴더에 test라는 폴더를 생성했습니다.
(이때 전체 경로를 다 적어줬고, hadoop fs -ls /user/inamsu 를 이용해 test 폴더가 생긴 것을 확인했습니다.)

hadoop fs -mkdir -p /user/inamsu/test

 

설치된 하둡에는 wordcount 예제 파일이 있기 때문에 해당 파일을 이용하겠습니다.

 

이 예제 파일(jar)을 저는 /opt/homebrew/Cellar/hadoop/3.3.4/libexec/share/hadoop/mapreduce 에서 찾을 수 있었습니다.

예제 파일

 다시 bin 폴더에서 다음과 같은 명령을 실행시켰습니다.

hadoop jar /opt/homebrew/Cellar/hadoop/3.3.4/libexec/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /user/inamsu/test/news.txt /user/inamsu/test/result

hadoop-mapreduce-examples-3.3.4.jar 파일에 있는 wordcount 클래스를 실행하고, 입력값으로는 /user/inamsu/test/에 있는 news.txt 파일을, 출력값으로 /user/inamsu/test/result 폴더를 지정했습니다.(이때 result 폴더는 생성되지 않았습니다)

 

모든 과정이 끝나고 보면 /user/inamsu/test에 result 폴더가 생긴 것을 확인할 수 있습니다.

 

result 폴더에는 다음과 같은 결과 파일이 들어있습니다.

 

다음 명령어를 이용해 한 번 결과를 확인해보겠습니다.

hadoop fs -cat /user/inamsu/test/result/part-r-00000

 

나름 봐줄만 한 결과인 것 같습니다.

감사합니다.