Causal Inference
A/B 테스트가 불가능할 때 관찰 데이터로 인과 효과를 추정하는 방법론
핵심 개념
Causal Inference(인과추론)는 “X가 Y를 야기하는가”를 묻는다. 단순 상관관계(engagement 높은 앱 = 좋은 앱)는 selection bias(특정 앱 선택자가 본질적으로 다름)와 confounding(앱 사용·리텐션 모두에 영향을 주는 제3 요인) 때문에 오도된다.
증거의 사다리(ladder of evidence) 최상단은 무작위 통제 실험(A-B Testing and Experimentation)이지만, 다음 경우 비실용적이다:
- 콘텐츠의 사용 가치와 프로모션 효과를 분리할 수 없음
- 통제군에서 앱 접근을 제거하면 UX 훼손 → 결과 오염
- 시장이 빠르게 변해 단일 실험의 장기 적합성 한계
이때 **관찰적 인과추론(observational causal inference)**으로 한 단계 내려가 기존 데이터에서 인과효과를 반복 가능하게 추정한다.
Double Machine Learning (DoubleML)
Meta가 Quest VR 콘텐츠의 리텐션 기여도를 측정하는 데 선택한 방법. 유연성·투명성·견고성의 균형이 강점.
직관
- 모든 covariate로 **결과(outcome)**를 예측 → 잔차
- 모든 covariate로 **처리(treatment)**를 예측 → 잔차
- 두 잔차 간 관계가 인과효과 (“우리가 아는 모든 것을 통제한 뒤, 설명되지 않은 앱 사용과 설명되지 않은 리텐션의 관계”)
- cross-fitting(표본 분할)으로 과적합 편향 방지
견고성: 편향이 두 단계 오차의 곱에 비례 → 어느 한 모델의 중간 정도 부정확성은 최종 추정에 영향이 작음.
5단계 블루프린트
| 단계 | 내용 |
|---|---|
| Define | 추정량 정의 (예: ATE — Average Treatment Effect) |
| Assemble | 처리 이전 covariate 수백 개 수집(tenure, 과거 인게이지먼트, 장르 선호…) |
| Fit | outcome·treatment 두 ML 모델 학습 → 잔차로 인과효과 추정 |
| Validate | 가정 검증(아래) |
| Apply | 의사결정용 인사이트 생성 |
검증: 해석 전 신뢰 구축
DoubleML의 핵심 가정은 conditional independence(모든 관련 confounder를 측정함)이며 직접 검증 불가. 대신 진단 테스트로 타당성을 탐침:
- Placebo Treatment Test: 가짜 처리(쓰지 않은 앱을 썼다고 가정) → 효과가 없어야 함. 효과 발견 시 confounding 통제 실패
- Placebo Outcome Test: 처리가 영향 줄 수 없는 사전 outcome에 대한 효과 측정 → 효과 없어야 함
- Common Support Check: propensity score 분포로 처리군·통제군 중첩 확인, 극단 propensity 관측 trimming → 비교 가능 집단 내에서만 결론
- 1단계 모델의 예측 정확도 + 미측정 confounding 민감도 평가
핵심 원칙: 어떤 관찰적 인과 모델도 검증 없이 신뢰하지 않는다. 검증 통과 후에만 결과를 해석한다.
의사결정으로 전환
DoubleML은 user-app 조합마다 3개 점수 산출:
- Propensity (uptake): 조직적으로 이 앱을 쓸 가능성 (높으면 broad appeal, 낮으면 niche)
- Baseline Stickiness: 이 앱 없이도 리텐션할 가능성 — selection bias를 막는 핵심 통제
- CATE (uplift): 이 사용자에게 이 앱이 주는 증분 리텐션 효과(개인 레벨)
→ Uplift vs Uptake 매트릭스로 콘텐츠 분류: “Hidden Gem”(uplift↑ uptake↓) vs “Popular but Substitutable”(인게이지먼트 좋아 보이나 증분 효과 없음). 투자 의사결정의 근거.
다른 방법들
- Instrumental Variable: 준무작위 변동(예: 추천 시스템 실험)을 활용해 인과 식별 강화 (Meta가 탐색 중인 다음 단계)
- 한계: 모든 관찰적 추정은 측정된 covariate 품질에 종속 → 민감도 분석이 필수 보완
연관 개념
- A-B Testing and Experimentation — 증거 사다리 최상단(가능할 때 우선)
- ML Ranking Systems — covariate 기반 nuisance 모델
- Data Scientist Role in AI Era — 인과추론은 LLM 시대에도 핵심 데이터 과학 역량
Source: Meta - Valuing Content with DoubleML When AB Tests Are Not an Option