Democratizing Machine Learning at Netflix: Building the Model Lifecycle Graph
Author: Netflix Technology Blog | Source: Netflix Tech Blog | Published: 2026-05-05
한 줄 요약
Netflix는 파편화된 ML 생태계의 모델, 피처, 파이프라인, 실험, 데이터셋을 연결된 그래프로 통합하는 Metadata Service(MDS)를 구축하여 “이 모델을 사용하는 A/B 테스트는?” 같은 크로스 도메인 질문을 단일 GraphQL 쿼리로 답할 수 있게 했다.
핵심 주장/내용
- Kafka/SNS를 통한 이벤트 수집 → 엔티티 보강(hydration) → AIP URI 정규화 → Datomic + Elasticsearch 저장의 아키텍처로 ML 메타데이터를 통합 관리한다
- 이벤트는 “변경의 로그”가 아닌 “변경의 알림”으로 설계하여 순서에 의존하지 않는 구조를 채택했다
- 백그라운드 지식 보강(knowledge enrichment)을 통해 명시적으로 기록되지 않은 엔티티 간 관계를 자동으로 추론한다
- ML 엔티티(모델, 피처, 파이프라인, 실험, 데이터셋) 간 연결 그래프를 구축하여 크로스 도메인 탐색을 가능하게 한다
- GraphQL API를 통해 복잡한 메타데이터 질의를 단일 쿼리로 처리할 수 있다
주요 수치 / 사실
- ML 엔티티 유형: 모델, 피처, 파이프라인, 실험, 데이터셋
- 저장소: Datomic(그래프 저장) + Elasticsearch(검색)
- 이벤트 소스: Kafka, SNS
관련 위키
Source: 원문 보기