The Next Evolution of Delta: Catalog-Managed Tables
Author: Benjamin Mathew, Scott Sandre, Scott Haines | Source: Delta Lake Blog | Published: 2026-02-02
한 줄 요약
Delta Lake 4.1.0의 카탈로그 관리 테이블은 카탈로그를 테이블 ID·발견·접근 제어의 권위 있는 시스템으로 전환하여 파일시스템 경로 의존성과 거버넌스 단편화를 해소한다.
핵심 주장/내용
- 기존 파일시스템 관리 테이블의 4가지 문제: 경로 의존성, 거친 인가 제어, 미검증 스키마 변경, 메타데이터 조회 성능 저하(100ms+ 오버헤드)
- 카탈로그 관리 테이블은 논리적 3단계 네임스페이스로 물리적 경로 의존성 제거
- 쓰기 시 카탈로그가 커밋을 검증·비준(ratify)하여 파일시스템 PUT-if-absent 대체
- 읽기 시 카탈로그 API에서 미발행 커밋을 가져와 발행된 파일시스템 커밋과 병합
- Unity Catalog 0.4.0이 이 명세를 지원하는 첫 오픈 lakehouse 카탈로그
주요 수치 / 사실
- 파일시스템 메타데이터 조회 오버헤드 100ms+ → 카탈로그 직접 전달로 절감
- Delta Lake 4.1.0 + Unity Catalog 0.4.0으로 구현 가능
delta.feature.catalogManaged='supported'테이블 프로퍼티로 활성화
관련 위키
Source: 원문 보기