Introducing uForwarder: Consumer Proxy for Kafka Async Queuing
Author: Zhifeng Chen, Haifeng Chen | Source: Uber Engineering | Published: 2026-02-05
한 줄 요약
Uber가 1,000+ 소비자 서비스를 위한 gRPC 기반 Push 방식 Kafka 컨슈머 프록시 uForwarder를 오픈소스로 공개했다.
핵심 주장/내용
- Pull 기반 Kafka 소비를 gRPC Push 방식으로 대체하여 파티션 관리 복잡성을 서비스에서 분리
- 5단계: Kafka Fetch → gRPC Push → 상태 코드 수신 → 결과 집계 → 오프셋 커밋
- Head-of-Line Blocking 해결: DLQ + 순서 무관 커밋으로 poison-pill 메시지 방지
- 컨텍스트 인식 라우팅으로 환경 격리(prod/non-prod)와 존 격리(장애 영향 범위 제한)
- 네이티브 지연 처리 기능으로 외부 재시도 로직 불필요
주요 수치 / 사실
- 하루 수조 건의 메시지, 수 페타바이트의 데이터 처리
- 1,000+ 컨슈머 서비스 지원
- gRPC 페이로드 제한: 4MB
관련 위키
Source: 원문 보기