ETL is Dead

Author: Ananth Packkildurai | Source: Data Engineering Weekly | Published: 2026-03-11

한 줄 요약

ETL 파이프라인은 계속 돌아가지만, 인간 운영자용으로 설계된 웨어하우스가 AI 에이전트 소비자로 전환되면서 데이터 엔지니어의 핵심 역할이 파이프라인 관리에서 컨텍스트 아키텍처로 이동한다.

데이터 웨어하우스의 모든 설계(스타 스키마, 카탈로그, 메달리온 아키텍처)는 인간의 인지 제약을 위해 최적화된 것 — 물리적 창고의 통로·선반·안내 표지판에 해당
Amazon Kiva 로봇이 물리적 창고를 재설계한 것처럼, AI 에이전트가 데이터 웨어하우스의 운영자가 되면 구조도 바뀌어야 함
Kimball 차원 모델링의 1~~2단계(비즈니스 프로세스 식별, 그레인 선택)는 컨텍스트 아키텍처로 영속하지만, 3~~4단계(스타 스키마, 팩트/디멘션)는 인간 소비자용 렌더링 선택
ECL (Extract-Contextualize-Link) 프레임워크가 ETL을 대체: Context Store가 시맨틱 정의(Context Object)와 에이전트 판단 이력(Decision Object)을 관리
이전 시도(비즈니스 용어집, 시맨틱 레이어, 데이터 카탈로그)가 실패한 이유는 경제성 — 이제 AI 에이전트가 컨텍스트 부재 시 대규모 환각을 발생시키므로 컨텍스트 유지 비용 < 누락 비용이 역전

데이터 아키텍처의 진자: 관계형(정밀) → Hadoop(유연) → 레이크하우스(절충) → ECL(시맨틱 정밀성과 물리적 유연성의 분리)
Context Store의 2가지 객체: Context Object(장기 시맨틱 정의, 검증 이력) + Decision Object(에이전트 판단 감사 추적)
Bill Inmon의 2007년 저서 Business Metadata가 이미 시맨틱 캡처를 제안했으나, 당시 경제적 동인이 부재했음