Data Scientist Role in AI Era
LLM 시대에도 데이터 과학의 기초 역량(평가, 실험 설계, EDA)이 핵심인 이유
핵심 개념
LLM API의 접근성이 높아지면서 누구나 AI 기능을 빠르게 만들 수 있게 되었지만, 신뢰성 있는 프로덕션 시스템을 만드는 데는 여전히 데이터 과학의 기초 역량이 필수적이다. 오히려 AI 도구가 코딩 속도를 높일수록, 그 이면의 구조적 문제(레거시 시스템, 데이터 모델링 부재, 리더십 미정렬)가 더 크게 드러나고 있다.
데이터 과학자의 새로운 역할
신뢰성 게이트키퍼 (Hamel Husain)
- 프로덕션 트레이스를 분석하여 실패 패턴을 발견하는 것이 핵심
- LLM-as-Judge의 precision/recall을 실제 데이터로 검증
- 합성 벤치마크와 과도한 자동화를 피하고 데이터 직접 검사에 집중
- 도메인 전문가가 평가 기준을 정의하고, LLM은 실행만 담당
풀스택 임팩트 (Figma)
- 청구 같은 미션 크리티컬 시스템에서는 모델보다 정확성과 관찰 가능성이 중요
- 일관성 검사 구축, 시스템 행동을 설명하는 애플리케이션 개발, 정확성 기준 정의
- 보고서가 아닌 도구를 통해 임팩트를 스케일링
산업 현황 (Joe Reis 설문, 2026.03)
- 194명 데이터 전문가 설문: AI 도입은 보편화
- 코딩 속도는 빨라졌지만, 프로덕션 가치에 대한 명확성은 여전히 부족
- 데이터 모델링과 시맨틱 레이어가 다음 핵심 프론티어로 부상
- 파이프라인 최적화보다 엔드투엔드 전달 효율성 개선이 중요
핵심 메시지
“AI가 코드를 더 빨리 생산하게 해줄수록, 그 코드가 해결해야 할 구조적 문제들이 더 선명하게 드러난다.”
명시적으로 가르치지 않는 분석 역량
기술적 스킬(SQL, Python) 외에도 실무 임팩트를 좌우하는 “소프트” 분석 역량이 있다:
- 분석적 직관: Fermi 추정, 프록시 값 기반 스케일링, 자연 분산 범위 파악
- 근본 원인 분석(RCA): 제품 버그, 시장/경쟁, 사용자 행동, 외부 요인의 4가지 가설 생성 → 데이터 검증
- KPI 설계: North Star(단일 회사 목표), OMTM(임시 집중 지표), Secondary(제품 민감도), Vanity(허영 지표) 구분
- 수동 스팟 체크: 자동화에 대한 과신 방지를 위해 5~10개 랜덤 유저의 속성을 수동 확인하는 습관
AI 의존의 위험
AI 코딩 도구에 과도하게 의존하면 코드베이스의 멘탈 맵이 사라지고 디버깅 능력이 퇴화한다. “AI로 사고를 가속하는 것”과 “AI로 사고를 대체하는 것”의 구분이 핵심이다.
연관 개념
- LLM-as-Judge
- LLM Evaluation
- Semantic Layer
- AI Self-Serve Analytics
- Data Pipeline Fundamentals — 파이프라인 운영의 실무 역량
- A-B Testing and Experimentation — 올바른 KPI 설계와 실험 품질
Source: AI Is Here But The Hard Parts Havent Changed, The Revenge of the Data Scientist, Redefining Impact as a Data Scientist, The Analytical Skills No One Teaches You, You Will Know Nothing And Be Happy