The Convergence of Open Table Formats and Open Catalogs: Catalog Commits GA
Author: Benjamin Mathew, Michelle Leon, Lukas Rupprecht, Ryan Johnson | Source: Databricks Blog | Published: 2026-05-13
한 줄 요약
Databricks가 Catalog Commits를 GA로 출시하여 Unity Catalog가 Delta 테이블의 커밋을 중재하고 split-brain 문제, 멀티엔진 접근 스프롤, 멀티테이블 트랜잭션을 해결.
핵심 주장/내용
- Delta Lake의 파일시스템 기반 커밋 모델은 카탈로그와 테이블 상태의 사일런트 메타데이터 드리프트(split-brain)를 유발
- Catalog Commits는 모든 엔진이 카탈로그 API를 통해 테이블에 접근하도록 강제하여 발견·인가·감사를 일원화
- 멀티테이블 ACID 트랜잭션으로 기존 DWH에서만 가능했던 워크로드를 lakehouse에서 실행 가능
- Delta와 Iceberg 모두 카탈로그 지향 모델로 수렴 — 오픈 lakehouse의 공통 기반 확립
- Delta Spark, Flink, Trino, DuckDB, StreamNative 등 에코시스템 전반이 이미 지원
주요 수치 / 사실
- Databricks Runtime 16.4+에서
delta.feature.catalogManaged = 'supported'로 활성화 - 기존 테이블은 Runtime 18.0+에서 ALTER TABLE로 업그레이드 가능
- Delta Kernel 라이브러리로 외부 엔진 통합 간소화
관련 위키
Source: 원문 보기