[MSA] Apache Kafka (분산 메시징 시스템) 서버 구축

Apache Kafka 란?

 

Apache Kafka(이하 Kafka)는 분산 데이터 스트리밍 플랫폼으로, 대용량의 실시간 데이터 스트림을 안정적으로 처리하는 데 사용된다. Kafka는 다양한 응용 프로그램 간에 데이터를 신속하게 전송하고, 데이터 파이프라인을 구축하고자 하는 경우에 특히 유용하다. 

 

MSA는 여러 개의 독립적인 서비스로 쪼개져 있다. Kafka는 마이크로서비스 간에 비동기 통신을 가능케 한다. 이벤트 기반 아키텍처에서는 각 서비스가 이벤트를 생성하고, 해당 이벤트에 관심이 있는 다른 서비스가 구독하여 처리할 수 있다. 이는 느슨한 결합(loose coupling)을 촉진하고, 각 서비스를 독립적으로 확장하고 배포할 수 있도록 도와준다.

 

https://www.devkuma.com/docs/kafka/kafka-message-system.png

 

---

Kafka의 구성 요소 

 

ZooKeeper  : Kafka가 죽었는지 살았는지 관리하는 서버

ZooKeeper는 Apache Kafka의 클러스터 상태 관리, 브로커들 간의 리더 선출, 컨슈머 그룹과 파티션 할당 등을 관리하는 데 사용된다. 주키퍼는 분산 환경에서의 조정 및 리더 선출을 수행하며, Kafka 클러스터의 안정성과 일관성을 제공한다. 주키퍼는 Kafka 브로커가 무엇이 리더이며, 어떤 토픽이 어떤 파티션을 가지는지 등을 추적하고 관리한다.

Kafka Broker : 메세지 큐 서버 역할, 주키퍼에 종속되어 있음

Kafka 브로커는 Kafka 클러스터에서의 핵심 구성 요소로, 메시지를 저장하고 전송하는 역할을 한다. 각 브로커는 특정한 주키퍼(zookeeper) 서버와 통신하며, 클러스터의 구성과 메타데이터를 공유한다.
Kafka 클러스터는 여러 개의 브로커로 구성되며, 이러한 브로커들이 함께 협력하여 안정적이고 확장 가능한 분산 메시지 시스템을 형성한다.

Producer : 개발자가 직접 개발, 메세지를 보내는 역할 

Kafka 프로듀서는 데이터를 Kafka 토픽으로 보내는 역할을 합니다. 토픽은 데이터의 카테고리를 나타내며, 프로듀서는 특정 토픽으로 메시지를 전송합니다. 프로듀서는 메시지를 생성하고 Kafka 클러스터의 브로커로 메시지를 전송합니다. 주로 비동기적으로 동작하며, 메시지를 특정 파티션으로 보내는 방법 및 메시지의 키를 지정하는 등의 설정이 가능합니다.

Consumer : 개발자가 직접개발, 메세지를 받는 역할

Kafka 컨슈머는 특정 토픽의 메시지를 소비하고 처리하는 역할을 한다. 컨슈머는 특정 토픽의 파티션에서 메시지를 소비하고, 이 메시지를 처리하는 비즈니스 로직을 구현한다. 또한, 컨슈머는 그룹으로 묶여 여러 인스턴스가 병렬로 메시지를 소비할 수 있어 고가용성 및 확장성을 제공한다.

---

 

Kafka 서버 구축 

- 리눅스 2대 (Zookeeper + Broker, Producer), 인텔리제이 프로젝트 1개 (Consumer) 

 

리눅스 1 (Zookeeper + Broker) 

1. 네트워크 설정

2. 자바 설치 openjdk11
3. wget 다운

4. kafka 다운 및 압축 풀기  ( tar -zvxf [파일명] )
5. kafka 압축 곳에서 Zookeeper 실행

./bin/zookeeper-server-start.sh ./config/zookeeper.properties

 

6. 서버 한개 더 키고, kafka 압축 푼 곳에서 Kafka실행

./bin/kafka-server-start.sh ./config/server.properties

리눅스 2 (Producer) 

1. 네트워크 설정

2. 자바 설치 openjdk11
3. wget 다운

4. kafka 다운 및 압축 풀기  ( tar -zvxf [파일명] )

5. Kafka 설정 파일 config/server.properties 수정

         advertise 부분 주석 제거하고, broker IP주소 써주기
6. kafka 압축 곳에서 Producer 실행

./bin/kafka-console-producer.sh --bootstrap-server [리눅스 1 IP주소]:9092 --topic emailcert --property "parse.key=true" --property "key.separator=:"

MSA 프로젝트 (Consumer)

 

1. application.yml  Kafka 설정 추가

spring:
  kafka:
    consumer:
      bootstrap-servers: [리눅스1 IP주소]:9092

 

2. pom.xml 라이브러리 추가 

        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
            <version>2.8.11</version>
        </dependency>

 

3. CreateEmailCertConsumer.java 

package com.example.demo.emailcert.adapter.kafka;

import com.example.demo.common.ExternalSystemAdapter;
import com.example.demo.emailcert.application.port.in.CreateEmailCertCommand;
import com.example.demo.emailcert.application.port.in.CreateEmailCertUseCase;
import com.example.demo.emailcert.application.port.out.CreateEmailCertPort;
import com.example.demo.emailcert.application.service.CreateEmailCertService;
import com.example.demo.emailcert.domain.EmailCert;
import lombok.RequiredArgsConstructor;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.kafka.annotation.KafkaListener;

@ExternalSystemAdapter
@RequiredArgsConstructor
public class CreateEmailCertConsumer {
    private final CreateEmailCertUseCase createEmailCertUseCase;

    @KafkaListener(topics = "emailcert", groupId = "emailcert-group-00")
    void createEmailCert(ConsumerRecord<String, String> record){

        System.out.println(record.toString());
        createEmailCertUseCase.createEmailCert(CreateEmailCertCommand.builder()
                        .email(record.value())
                        .build());

    }
}

---

 

실행결과 

 

위와 같이 실습하면 다음과 같이 3개의 창으로 서버가 실행된다. 

Producer가 알맞게 실행되면 

> 로 콘솔창이 뜬다. Producer을 실행할 때 --topic 옵션으로 "emailcert"를 주어서 토픽을 찾아가도록 했고, 문자열을 파싱할 수 있도록 --property 옵션으로 parse.key=true --property key.seperator=:  를 주었다. 

email:tatpo0o0o0o0@gmail.com 을 입력을 넣어주면, : 로 파싱되어 DB에 잘 들어가는 것을 확인할 수 있다. 

 

위는 인텔리제이(Consumer)에서 메세지를 받고, DB로 저장까지 되는 것을 로그로 확인할 수 있다. 

 

---

[참고]

https://velog.io/@holicme7/Apache-Kafka-%EC%B9%B4%ED%94%84%EC%B9%B4%EB%9E%80-%EB%AC%B4%EC%97%87%EC%9D%B8%EA%B0%80

[Apache Kafka] 카프카란 무엇인가?