High-Throughput Graph Abstraction at Netflix: Part I

Author: Oleksii Tkachuk, Kartik Sathyanarayanan, Rajiv Shringi | Source: Netflix Tech Blog | Published: 2026-02-10


한 줄 요약

Netflix가 기존 KV·TimeSeries 추상화 위에 “더 높이 쌓아” 초당 1천만 연산·650TB 규모의 OLTP 그래프 순회를 단일 밀리초 지연으로 서빙하는 Graph Abstraction을 구축.

핵심 주장/내용

  • 그래프 use case를 OLAP(알고리즘적 대규모 탐색, SPARQL/Gremlin)와 OLTP(초당 수백만 연산, 밀리초 순회, 최종 일관성·쿼리 복잡도 제약 수용)로 구분 → Graph Abstraction은 OLTP에 특화
  • “taller on top” 전략: 페르시스턴스/캐시를 처음부터 만들지 않고 KV Abstraction(실시간 인덱스) + TimeSeries Abstraction(과거 뷰) + EVCache 위에 구축
  • Property Graph 모델 + 명시적 스키마: 시작 시 in-memory 메타데이터 그래프를 빌드 → 데이터 품질(비순응 거부), 쿼리 플래닝(가능한 순회 경로 구성), 불가능 관계 제거
  • 엣지 저장: links(인접 리스트)와 properties를 분리 → 효율적 property upsert + wide row 방지(단, 네임스페이스 간 비원자적 쓰기 trade-off). forward/reverse 인덱스 + 방향 무관 식별자(소스·목적지 ID를 사전식 정렬·연결)
  • 캐싱: write-aside(엣지 링크, write amplification 감소) + read-aside(properties, EVCache, read amplification 감소). 일관성: 엔트로피 복구(Kafka 재시도), 비동기 노드 삭제 + LWW

주요 수치 / 사실

  • 초당 ~1천만 연산, 650TB 그래프 데이터(글로벌)
  • 엣지/노드 persistence 단일 밀리초 지연; 1-hop 순회 single-digit ms; 2-hop high-fanout RDG는 p90 < 50ms (최대 ~100ms)
  • use case: Real-Time Distributed Graph(RDG), Social Graph(게이밍), Service Topology(근본원인 분석)
  • KV 멱등성: 타임스탬프 토큰으로 LWW + request hedging/안전한 재시도

관련 위키


Source: 원문 보기