본문 바로가기

데이터엔지니어2

아파치 카프카 설치(kraft) 안녕하세요 크리넥스을라이스입니다. 보통 아파치 카프카를 사용할 때, 주키퍼와 같이 설치를 많이 하는데 이번에는 주키퍼 없이 실행이 가능한 아파치 카프카 3버전으로 클러스터 설치에 대한 내용을 글로 담아봤습니다. 먼저 저는 ec2 인스턴스(t2.medium) 3개를 이용해 진행했습니다. 1. 호스트 등록 먼저 3개의 ec2 인스턴스 서버에 각각 호스트 내용을 등록합니다. 저는 ec2 인스턴스에서 프라이빗 IPv4 주소를 복사해 호스트로 등록했습니다. 혹은 인스턴스에 접속 후 터미널에 다음 명령어를 입력해도 확인할 수 있습니다. hostname -i /etc/hosts 파일에 다음과 같이 등록했습니다. // 호스트 파일 열기 sudo vi /etc/hosts // 다음 정보들을 입력 후 저장 인스턴스1_ip.. 2023. 12. 29.

간단하게 하둡 사용해보기(wordcount) 하둡을 설치했으니 가장 기본적인 예제인 wordcount를 한 번 해보겠습니다. 책의 예제는 hadoop-env.sh 파일 속 영단어를 세는 것인데, 저는 간단하게 뉴스 기사를 사용하겠습니다. http://news.tf.co.kr/read/entertain/1987544.htm '유퀴즈' 김민재·황인범, 월드컵 16강 진출 비하인드 공개 김민재 "손흥민 호통 장면에 싸가지 없단 소리 들어" 고백 국가대표 축구선수 김민재와 황인범이 21일 방송된 tvN 유 퀴즈 온 더 블록에서 2022 카타르 월드컵 비화를 공개했다.. news.tf.co.kr 해당 기사의 내용을 텍스트 파일로 바탕화면에 저장했습니다. 이후 /opt/homebrew/Cellar/hadoop/3.3.4/libexec/bin 경로로 이동해 하.. 2022. 12. 23.

이전 1 다음

티스토리툴바