[팁] SCRAM-SHA-512 인증 있는 카프카에 명령어 실행하는 방법

카프카의 토픽이나 그룹정보를 확인하는 기본적인 명령어 툴이 있다. 인터넷에 있는 대부분의 예시는 인증이 없는 방식이 예로 있는데, 카프카클러스터에 보안인증이 존재할때 기냥 명령을 내리면 실행이 안되고 에러가 난다. 

 

consumer 를 만들어서 실행할땐 properties 에 선언해서 큰 문제가 없는데, username 과 password 를 선언하기가 조금 애매한 상황이 발생된다. 이럴땐 --command-config 을 이용해서 파일의 설정을 읽어 내면 된다.

 

인증있는 카프카에 명령 하기

우선 다음과 같은 보안과 관련된 설정을 파일을 만들어 두어야 한다. 그리고 실행할때 파라미터로 제공하면 된다.

자주 쓰는 패턴의 명령어 예시는 아래에 적어두었다.

kafka-auth.properties

bootstrap.servers=127.0.0.1:9093
sasl.mechanism=SCRAM-SHA-512
security.protocol=SASL_PLAINTEXT
sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required \
    username="아이디" \
    password="암호";

명령어 예시

# 선언 예시
KAFKA_AUTH_FILE=kafka-auth.properties
KAFKA_SERVER=127.0.0.1:9093
GROUP={그룹명}

#######################
## CONSUMER GROUP   ###
#######################
# consumer group list
./kafka-consumer-groups --bootstrap-server ${KAFKA_SERVER} --list --command-config ${KAFKA_AUTH_FILE}


# consumer group delete : {그룹명}
./kafka-consumer-groups --bootstrap-server ${KAFKA_SERVER} --delete --group ${GROUP} --command-config ${KAFKA_AUTH_FILE}

# consumer group offset : {그룹명}
./kafka-consumer-groups --bootstrap-server ${KAFKA_SERVER} --describe  --group ${GROUP} --command-config ${KAFKA_AUTH_FILE}

#######################
## TOPIC            ###
#######################
# topic list : 
./kafka-topics --list --bootstrap-server ${KAFKA_SERVER} --command-config ${KAFKA_AUTH_FILE}

편의를 위해 환경변수를 넣어서 정리했는데, 직접 명령을 해보면 쉽게 이해할 수 있을것이라 생각된다.