Guide to data tools landscape for developers
Author: sinja.io | Source: sinja.io/blog | Published: (미기재)
한 줄 요약
데이터 배경 없이 데이터 회사에 합류한 소프트웨어 엔지니어를 위해 데이터 라이프사이클 전체(어디서 오고, 어떻게 처리되고, 어디 저장되고, 어떻게 소비되는지)와 각 도구가 어느 단계에 속하는지를 훑는 온보딩 가이드.
핵심 주장/내용
- 집필 동기: 저자는 데이터 배경 없이 클라우드 노트북 회사(Deepnote)에 소프트웨어 엔지니어로 합류했다가, 노트북 외의 데이터 도구들이 무엇에 쓰이는지, 데이터 사이언스의 일반적 작업 과정이 어떤지 전혀 모른다는 것을 깨달았다. 그리고 다양한 데이터 도구가 어떻게 쓰이고 노트북과 어떻게 상호작용하는지 모르면 좋은 기능을 제안하거나 문제 있는 UI 흐름을 짚을 수 없다. 기사·동료·인터넷 낯선 사람·고객 워크플로를 통해 익혔지만 “데이터 회사에 던져진 소프트웨어 엔지니어를 위한 가이드”는 찾을 수 없었다
- 데이터 직군 4가지 유형 (특히 작은 회사·팀에서는 경계가 매우 흐릿하다):
- Analytical type — 데이터를 해석하고 인사이트를 뽑아 제시. 보통 data analyst / BI analyst. SQL과 스프레드시트에 능숙하고 Tableau 같은 BI 도구, Excel 사용. 예시 업무: SQL로 고객 데이터를 뽑아 지역별 이탈률을 계산하고 이탈 추세 Tableau 대시보드를 만들어 마케팅에 리텐션 캠페인 제안과 함께 발표
- Scientific type — 표면적 리포팅보다 깊이 판다. 통계를 적용하고 모델을 만들고 실험을 돌려 덜 명백한 질문에 답하거나 예측. 보통 data scientist. Python과 과학 스택(pandas, scikit-learn)에 능숙하고 노트북에서 자주 작업. 예시: 같은 고객 데이터에서 어떤 요인이 이탈과 상관되는지 탐색하고 각 고객의 이탈 확률을 추정하는 통계 모델을 만들고, 리텐션 캠페인의 A/B 테스트를 설계해 실제로 효과가 있었는지 분석
- Engineering type — 데이터 주변 인프라를 담당. 1차 임무는 애초에 데이터를 분석 가능하게 만드는 것 — 여러 소스에서 끌어오고 정제·표준화해 웨어하우스나 레이크에 적재하는 파이프라인 구축·유지. DB 유지와 조직의 다른 데이터 도구 관리도 담당. 다른 축은 스케일링 — analytical/scientific type이 만든 작업 일부를 확장해야 한다(분석가의 단순 분석이 안정적·반복 가능하게 돌아야 하는 reverse ETL 파이프라인이 되는 식). Python, Apache Spark, 각종 DB·웨어하우스, 클라우드 사용
- Machine learning type — 문제 해결에 쓸 AI 모델 구축·유지. 웹사이트 봇 트래픽 탐지 같은 작은 분류 모델부터 회사가 학습·파인튜닝한 더 일반적인 LLM까지
- 다루는 범위 — 데이터 라이프사이클: 데이터가 어디서 오는지, 어떻게 다뤄지는지, 어떻게 저장되는지, 어떻게 표시되는지. 각 도구가 어느 단계에 속하고 데이터 종사자에게 어떤 과제를 해결하는지 이해하는 것이 목표. 각 도구의 설정법이나 동일 클래스 도구 간 심층 비교는 다루지 않는다
- 목차 구조 (개념 사전으로서의 가치):
- 저장 — 파일 포맷, 메모리 포맷, 데이터 웨어하우스, 데이터 레이크, 데이터 레이크하우스
- 유입 — 데이터 출처, ingestion 도구
- 처리 — 언어, 배치 vs 실시간, SQL, 로컬 DataFrame, 대규모 분산 처리, 스트림 처리, 오케스트레이션
- 신뢰 — 데이터 관측성과 모니터링
- 도착 — medallion 아키텍처, 차원 모델링, 앱에 데이터 서빙, reverse ETL
- 의미 — 시맨틱 레이어와 데이터 카탈로그, 데이터 lineage
- 소비 — 대시보드와 리포트, 운영 분석, ML 관련 사례, 임베디드 분석, Data as a Product
- 통제 — 데이터 거버넌스
관련 위키
- Open Source Data Stack
- Data Pipeline Fundamentals
- Medallion Architecture
- Data Modeling
- Semantic Layer
- Data Governance
- Data Team Operations
Source: 원문 보기