Debezium at Scale: An Open Source CDC Story from Zepto
Author: Zepto Engineering | Source: blog.zeptonow.com | Published: 2026-02-01
한 줄 요약
Zepto가 인메모리 리덕션 버퍼로 중복 CDC 업데이트를 병합하고 PostgreSQL UNNEST 기반 배치 전략으로 파싱 오버헤드를 줄여 고처리량 Debezium CDC 파이프라인을 최적화했다.
핵심 주장/내용
- 고속 CDC 파이프라인에서 동일 키에 대한 반복 업데이트가 다운스트림 DB에 MVCC 쓰기 증폭(write amplification)을 유발
- 인메모리 리덕션 버퍼: 시간 윈도우 내 동일 키의 중복 업데이트를 병합하여 다운스트림 쓰기 횟수를 대폭 감소
- UNNEST 기반 배치: 여러 upsert 연산을 단일 SQL 문으로 결합하여 PostgreSQL 파싱 오버헤드 절감
- 표준 Debezium 커넥터 위에 커스텀 최적화를 레이어링하는 접근법
주요 수치 / 사실
- 최적화 대상: MVCC 버전 블로트로 인한 성능 저하
- 두 가지 핵심 기법: 리덕션 버퍼(중복 제거) + UNNEST 배치(파싱 최소화)
관련 위키
Source: 원문 보기