Scaling Experimentation Quality at Booking.com
Author: Booking.com | Source: Booking.com AI | Published: 2026-04-07
한 줄 요약
Booking.com이 실험 품질 저하 문제를 데이터 사이언스 앰배서더, 피어 리뷰, Quality Tab 도구로 설계-실행-의사결정 전 단계에 걸쳐 체계적으로 해결했다.
핵심 주장/내용
- 대규모 실험에서 품질 저하가 설계(design), 실행(execution), 의사결정(decision) 3단계 모두에서 발생
- 데이터 사이언스 앰배서더를 팀에 배치하여 통계적 엄밀성 내재화
- Quality Tab이 검정력 계산(power calculations)과 사전 등록 가설(pre-registered hypotheses)을 실시간 강제
- 가장 큰 개선은 설계 단계에서 나타남 — 적절한 통계적 검정력이 결과 신뢰성과 의사결정 확신도 향상
주요 수치 / 사실
- 고품질 실험 비율 증가 (설계 단계에서 가장 큰 개선)
- 피어 리뷰 프랙티스 도입으로 실험 설계 사전 검토 체계화
관련 위키
Source: 원문 보기