아파치 카프카 설치(kraft)

안녕하세요 크리넥스을라이스입니다.

 

보통 아파치 카프카를 사용할 때, 주키퍼와 같이 설치를 많이 하는데

 

이번에는 주키퍼 없이 실행이 가능한 아파치 카프카 3버전으로 클러스터 설치에 대한 내용을 글로 담아봤습니다.

 

먼저 저는 ec2 인스턴스(t2.medium) 3개를 이용해 진행했습니다.

1. 호스트 등록  

먼저 3개의 ec2 인스턴스 서버에 각각 호스트 내용을 등록합니다.

 

저는 ec2 인스턴스에서 프라이빗 IPv4 주소를 복사해 호스트로 등록했습니다.

인스턴스의 프라이빗 IPv4 주소

 

혹은 인스턴스에 접속 후 터미널에 다음 명령어를 입력해도 확인할 수 있습니다. 

hostname -i

 

/etc/hosts 파일에 다음과 같이 등록했습니다.

// 호스트 파일 열기
sudo vi /etc/hosts

// 다음 정보들을 입력 후 저장
인스턴스1_ip주소 kafka01
인스턴스2_ip주소 kafka03
인스턴스3_ip주소 kafka02

 

kafka01, kafka02, kafka03 같은 이름은 구분짓기 위해서 사용한 것이기 때문에 

 

kafka-01 / kafka001 / kafka1  등 맘에 드는 다양한 형식으로 이용하시면 됩니다.

 

이어서 저는 호스트 이름을 설정해 주었습니다.

(아마 설정 후 재접속을 해야 변경된 호스트 이름이 출력됩니다.)

// 호스트 이름 설정 (각각 서버에서 명령어 실행)
hostnamectl set-hostname kafka01
hostnamectl set-hostname kafka02
hostnamectl set-hostname kafka03

 

2. 자바 설치

먼저 설치 가능한 자바 리스트를 확인합니다.

sudo yum list | grep jdk 

// 혹은 다음 명령어도 가능합니다. 
yum list java*

필요한 자바 버전을 설치하시면 됩니다.

(저는 17버전을 설치했습니다.)

// corretto jdk 설치
sudo yum install java-17-amazon-corretto.x86_64

// java -version
sudo yum install java-17-amazon-corretto-devel.x86_64

 

제대로 설치가 되었는지 --version 을 이용해 확인하시면 됩니다.

java --version
javac --version

 

이후 Path 등록을 위해 자바가 설치된 경로를 확인합니다.
(저는 다음과 같은 경로에 자바가 설치되었습니다.)

which java

 

다음 명령어로 Path를 등록합니다.

# 자신의 자바 경로로 설정
export JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64
export PATH=$PATH:$JAVA_HOME/bin

 

3. 아파치 카프카 3버전 설치

저는 아파치 카프카 3.5.1 버전(스칼라는 2.1.3 버전)을 설치했습니다.

(정확히 기억은 잘 안나는데 source 파일을 다운로드 받으면 실행 시 에러가 발생했던 것 같습니다.) 

 

아파치 카프카를 설치하고 압축을 해제합니다.

// 파일 다운로드
wget https://dlcdn.apache.org/kafka/3.5.1/kafka_2.13-3.5.1.tgz

// 압축 풀기
tar -xvf kafka_2.13-3.5.1.tgz

 

압축을 해제한 폴더를 원하는 경로로 이동시킵니다.

(저는 /opt 폴더로 이동한 후 폴더명을 kafka 로 변경했습니다.)

sudo mv kafka_2.13-3.5.1 /opt/

 

kafka_2.13-3.5.1 폴더 안에 있는 config 폴더로 이동합니다.

그러면 여러 파일들을 볼 수 있는데 다시 kraft 라는 폴더로 이동합니다.

이 폴더 안에는 server.properties 라는 파일이 있는데 해당 파일에 필요한 서버 정보들을 작성해 주시면 됩니다.

(아마 서버마다 브로커 / 컨트롤러 역할이 나뉜다면 각각 broker.properties, controller.properties 파일을 수정하는 것 같습니다, 다만 저는 각각 서버가 모두 브로커-컨트롤러 역할을 수행할 예정이라 server.properties 파일을 수정했습니다.)

server.properties 에서 설정할 내용은 다음고 같습니다.

• node.id
• controller.quorum.voters
• listeners
• advertised.listeners

server.properties 파일을 열어줍니다.

vi server.properties

# 각 서버마다 1부터 숫자를 지정. kafka01 > 1, kafka02 > 2, ...
node.id=1

# node.id@호스트이름:9093 형태로 모든 서버 내용을 기입
controller.quorum.voters=1@kafka01:9093,2@kafka02:9093,3@kafka03:9093

# localhost > 각 서버의 호스트이름으로 변경(kafka02 서버라면 kafka02로 수정)
listeners=PLAINTEXT://kafka01:9092,CONTROLLER://kafka01:9093

advertised.listeners=PLAINTEXT://kafka01:9092

 

kafka 폴더 안의 bin 폴더로 이동하면 많은 파일들이 있습니다.

다음과 같은 명령어를 입력하면 랜덤 uuid 값을 출력하게 됩니다.

./kafka-storage.sh random-uuid

저의 경우,  이 랜덤 uuid 값을 생성하고 등록하는 과정에서 많이 헷갈렸는데요.

 

각각 인스턴스 서버에서 다음 명령어로 모두 동일한 랜덤 uuid 값을 등록해 주어야 합니다.

(저는 각각 서버마다 랜덤 uuid를 생성해서 등록했는데, 이러니 클러스터 연결이 되지 않았습니다.)

./kafka-storage.sh format -t 랜덤_uuid -c /opt/kafka_2.13-3.5.1/config/kraft/server.properties

 

4. 인바운드 규칙 수정

이후 인바운드 규칙에서 각각 9092, 9093 포트를 추가해 줍니다.

 

5. 실행

다음 명령어로 카프카를 실행/종료 테스트를 진행한다.

## 시작
/opt/kafka_2.13-3.5.1/bin/kafka-server-start.sh -daemon ./config/kraft/server.properties

## 종료
/opt/kafka_2.13-3.5.1/bin/kafka-server-stop.sh -daemon ./config/kraft/server.properties