KIP-848: The Next Generation of the Consumer Rebalance Protocol
Author: Apache Kafka Community | Source: Apache Kafka Wiki | Published: 2026-04-01
한 줄 요약
Kafka의 차세대 컨슈머 리밸런스 프로토콜이 복잡성을 클라이언트에서 브로커로 이동시켜 점진적·무중단 파티션 재할당을 가능하게 한다.
핵심 주장/내용
- 기존 프로토콜의 문제: 두꺼운 클라이언트 의존, 글로벌 동기화 장벽, 단일 멤버의 전체 그룹 방해
- 서버 사이드 조정: 브로커가 코디네이션 담당, 클라이언트는 단순해짐
- 3중 에포크 시스템: Group Epoch, Assignment Epoch, Member Epoch
- 선언적 할당: 점진적 업데이트 대신 목표 상태를 선언, 코디네이터가 수렴
- ConsumerGroupHeartbeat RPC가 JoinGroup/SyncGroup/Heartbeat를 대체
- 혼합 프로토콜 멤버 지원으로 무중단 롤링 업그레이드 가능
주요 수치 / 사실
- Kafka 4.0+에서 서버 사이드 assignor (range, uniform) GA
- Kafka 4.2+에서 Topic ID 기반 오프셋 연산 지원
- 클라이언트 사이드 assignor는 아직 미구현
- Kafka Streams는 KIP-1071로 별도 프로토콜 수령
관련 위키
Source: 원문 보기