Layer by Layer, We Built Data Systems No One Understands
Author: SeattleDataGuy (Ben Rogojan) | Source: seattledataguy.substack.com | Published: 2026-03-03
한 줄 요약
데이터 스택에 도구와 레이어를 무분별하게 추가하면 프랙탈처럼 복잡성이 폭발하고, 비즈니스 가치와의 연결이 끊어진다.
핵심 주장/내용
- 모든 세대의 도구가 “쉽게 만들어준다”고 약속하지만 실제로는 레이어를 하나 더 추가할 뿐
- 6가지 스프롤: BI sprawl, pipeline sprawl, model sprawl, agent sprawl, cost sprawl, system sprawl
- 데이터 스택이 프랙탈처럼 작동: 각 박스 안에 또 다른 복잡한 시스템이 존재
- AI로 더 많은 자동화를 쉽게 만들 수 있지만, 기술적 산출물과 비즈니스 가치의 연결은 여전히 어려움
- 레이어 추가 전 3가지 질문: (1) 이 레이어가 해결하는 문제는? (2) 안 추가하면? (3) 6개월 후 누가 소유?
주요 수치 / 사실
- 어떤 회사는 Databricks/Snowflake 추가 비용 $125K/년으로 DE 2명 인건비를 절감
- 2020년대 데이터 스택은 37+ 도구로 구성되기도 함 (Joe Reis 지적)
관련 위키
Source: 원문 보기