Distilling Long-Tail User Behavior into Scalable Embeddings for Job Search (Indeed)

Author: Marsan Ma 외 (Indeed) | Source: Indeed Engineering Blog | Published: 2026-06-04

한 줄 요약

무거운 시퀀스 모델링을 오프라인에서 한 번 수행해 사용자 장기 행동을 고정 길이 임베딩(UBM)으로 증류하고, 다수의 경량 온라인 모델이 일반 dense feature로 재사용하는 “one producer, many consumers” 패턴.

긴장 관계: 풍부한 장기 행동 + 딥러닝을 쓰고 싶지만, 고트래픽 랭킹은 밀리초 지연·비용 제약 → 프로덕션 모델은 작은 latency-sensitive 모델
전통적 tabular 모델링의 타협(고정 윈도우 K개만, 공격적 집계, one-hot)이 사용자 의도 왜곡(과거 civil engineering → medical → account management 사용자가 “software” 토큰 과대평가로 잘못 추천)
2계층 시스템: 큰 오프라인 모델이 긴 history를 읽어 user embedding emit, 다수 작은 온라인 모델이 dense feature로 소비
아키텍처: job/event 인코딩(Deep & Cross Network) → 행동 시퀀스(positional encoding) → self-attention denoising(지속 패턴 증폭, 일회성 down-weight) → multi-sequence → unified single-sequence 진화(모든 이벤트를 시간순 단일 타임라인 + event-type embedding → 한 transformer가 cross-event 패턴 attend)
서빙: 모델은 매일 재학습 불필요, 일일 batch inference로 임베딩 갱신 → feature store. 프로덕션 모델은 transformer로 재작성 불필요

unified single-sequence가 multi-sequence 대비 다운스트림 lift 약 2배: CTR ROC-AUC +1.6%→+3.5%, apply-start +1.3%→+2.3%
job을 side table에 두고 GPU 캐시 lookup → 데이터 볼륨 수백 배 감소, 100배+ 빠른 학습(PB→TB)
시퀀스 길이 8→32 단조 개선, 프로덕션은 최대 256 이벤트 사용
프로덕션 lift: Email Recommendation 지원율 +5.24%, Homepage +2.04%, Resume Search NDCG@10 +2.89%, Candidate Rec +1.64%