Airflow DAG Bundles: Managing DAGs Across Teams Without Helm Upgrades
Author: ZeroToOne Platform | Source: ZeroToOne Blog | Published: 2026-04-15
한 줄 요약
Airflow 3.x의 DAG Bundle 기능과 S3 사이드카 패턴으로 Helm 업그레이드 없이 팀별 셀프서비스 DAG 배포를 구현한다.
핵심 주장/내용
- Airflow 2.x의 단일
dags_folder→ 3.x의 DAG Bundles: 플러거블 멀티소스 DAG 딜리버리 - S3 번들이 Kubernetes의 git-sync, PVC, SSH 키 관리 문제를 제거
- DAG 파일이 ETL 코드와 동일 리포에 공존 — 파이프라인 소유 팀이 DAG도 소유
- Bundle Watcher (PR #63928): 로컬 디렉토리의 JSON 파일 변경을 감지하여 핫 리로드, Helm 업그레이드 불필요
- 사이드카가 S3에서 30초마다 번들 JSON 동기화, MD5 비교로 불필요한 리로드 방지
주요 수치 / 사실
- 번들 추가: JSON 파일 드롭 → 30초 내 DAG 등장, 다운타임 제로
관련 위키
Source: 원문 보기