Momentum

server.properties 파일을 열어서 auto.create.topics.enable=false 추가 하니 자동생성이 방지되었다. auto create 관련 옵션이 전혀 없는걸보니 default로 자동생성이 되는것 같다. 분명 편리한 기능이지만 replication factor 값이 1로 생성되어 이전에 성능 테스트 할때 문제가 되었다. replication factor 3으로 생성한 topic을 삭제하고 auto create로 생성한 topic은 메시지 받는 속도가 느려져서 이유를 찾느라 고생했었다. 그리고 지금은 외부 producer에서 kafka broker 서버로 메시지를 계속 보내고 있는데, 수집할 필요가 없는 데이터라서 막고 싶은데 producer를 끄는법을 모른다고 하니 kafka서버..

Zookeeper란? 분산 클러스터를 관리해주는 코디네이터 역할(Kafka Server 조율) 특징 시스템에서 반드시 홀수로 구성 해야 한다. 서버 5대가 구동 중에 2대가 죽었을 때, 관리자가 죽었던 서버를 다시 살리고 데이터 변경 요청이 들어올 경우, 데이터 일관성을 위해서 과반수 투표를 하게 된다. 올바른 데이터가 무엇인지 판단하기 위해서 3:2로 비교하고 과반수인 3쪽의 서버의 데이터를 업데이트하게 된다. 하지만 짝수일 경우에는 2:2또는 1:1로 과반수 라는 게 없이 똑같아져서 문제가 발생한다. 반대로 3대가 죽었을 경우, 투표를 하게 되면 죽은 서버가 과반수가 되어 올바르지 않은 데이터를 옳다고 판단하게 된다. 그래서 절반 이상이 죽으면 데이터의 불일치성을 막기 위해서 zookeeper가 Ka..