Database Federation: Decentralized and ACL-Compliant Hive Databases
Author: Uber Engineering | Source: uber.com/blog | Published: 2026-02-01
한 줄 요약
Uber가 16,000개 이상의 데이터셋과 10PB를 포함하는 모놀리식 Hive 데이터 웨어하우스를 도메인별 연합(federation) 데이터베이스로 분리하여 장애 격리, 거버넌스, 최소 권한 접근 제어를 달성했다.
핵심 주장/내용
- 모놀리식 Hive 구조의 문제: 연쇄 장애(cascading failures), 노이지 네이버 효과, 중앙 팀 병목, 과도한 권한 부여
- “포인터 조작(pointer manipulation)” 전략으로 데이터를 물리적으로 복사하지 않고 Hive Metastore 포인터만 변경하여 무중단 마이그레이션 수행
- 설계 원칙: 데이터 무결성, 가용성, 수만 개 데이터셋 확장성, 최소 권한 접근 제어, 소비자 경험 유지
- 도메인 팀에 데이터베이스 운영 권한을 위임하여 인시던트 대응 속도 향상
주요 수치 / 사실
- 16,000+ 데이터셋, 10 PB 데이터 규모
- 제로 다운타임 마이그레이션 달성
- 스토리지 중복 및 파이프라인 동기화 복잡성 제거
관련 위키
Source: 원문 보기