Under the Hood: An Introduction to the Native Execution Engine for Microsoft Fabric
Author: Ankita Victor-Levi | Source: Microsoft Fabric Blog | Published: 2026-02-23
한 줄 요약
Microsoft Fabric의 Native Execution Engine은 Velox(C++ 벡터화 엔진)와 Apache Gluten(Spark-Velox 브릿지)을 결합하여 코드 변경 없이 Spark 쿼리를 최대 6배 가속한다.
핵심 주장/내용
- JVM 기반 Spark의 GC 오버헤드, 행 단위 처리, SIMD 미활용 문제를 C++ 네이티브 레이어로 해결
- Velox(Meta 오픈소스 C++ 실행 엔진)가 컬럼나 배치에 대한 벡터화 연산 수행
- Apache Gluten이 Spark 물리 플랜을 인터셉트하여 지원 연산자를 Velox 네이티브 플랜으로 변환
- Spark의 논리/물리 최적화(AQE, 비용 기반 재작성, 컬럼 프루닝) 전부 보존
- 지원되지 않는 연산자는 자동 JVM fallback; Spark Advisor로 fallback 실시간 가시성 제공
주요 수치 / 사실
- TPC-DS 스케일 팩터 1000 (Delta 포맷) 기준 오픈소스 Spark 대비 최대 6배 성능 향상
- 고정 Fabric 클러스터에서 약 83% 컴퓨트 비용 절감
- NYC Yellow Taxi 데모 쿼리에서 약 2.4배 속도 향상
- 추가 컴퓨트 비용 없음 (기존 Fabric 요금 내 포함)
관련 위키
Source: 원문 보기