Stream Processing vs. Real-Time OLAP: Flink, ClickHouse & Pinot Compared
Author: Manveer Chawla (Confluent) | Source: Confluent Blog | Published: 2026-05-06
한 줄 요약
스트림 처리(Flink)는 연속적 push 기반 사전 계산이고 실시간 OLAP(ClickHouse/Pinot)는 인터랙티브 pull 기반 탐색이며, 두 접근의 선택 기준과 조합 아키텍처를 명확히 정리한 글.
핵심 주장/내용
- 스트림 처리는 움직이는 데이터에 대한 연속적 push 기반 사전 계산(Flink), 실시간 OLAP는 정지된 데이터에 대한 인터랙티브 pull 기반 계산(ClickHouse/Pinot/Druid)
- 선택 기준: 예측 가능한 메트릭/액션은 스트림 처리, 예측 불가능한 탐색은 OLAP
- 세 가지 아키텍처 패턴: (1) Kafka→Flink→Kafka→마이크로서비스(운영), (2) Kafka→OLAP(직접 탐색), (3) Kafka→Flink→Kafka→OLAP(통합, 엔터프라이즈 표준)
- 안티패턴: Flink로 대시보드 쿼리 처리하지 말 것, OLAP로 연속 상태 기반 ETL 하지 말 것
- 스트리밍 데이터베이스는 양쪽을 결합하지만 스케일 한계가 존재
주요 수치 / 사실
- 비교 대상 기술: Apache Flink, ClickHouse, Apache Pinot, Apache Druid
관련 위키
Source: 원문 보기