Engineering LinkedIn’s Job Ingestion System at Scale
Author: LinkedIn Engineering | Source: LinkedIn Engineering Blog | Published: 2026-02-01
한 줄 요약
LinkedIn은 잡 수집 추출 로직을 하드코딩에서 Sitemap 설정 파일로 전환하여 AI 도구가 엔지니어링 배포 없이 소스를 온보딩하고, 온보딩 기간을 수 주에서 수 시간으로 단축했다.
핵심 주장/내용
- 추출 로직을 코드에서 Sitemap 설정 파일로 분리하여 설정 기반(config-driven) 아키텍처로 전환
- AI 도구와 브라우저 플러그인이 엔지니어링 배포 없이 소스를 직접 온보딩 가능
- 트랜잭션 상태 머신으로 병렬 마이닝 태스크 간 정확한 장애 경계 시행
- 소스 다양성 확장에 따른 운영 복잡도를 설정 파일로 관리
주요 수치 / 사실
- 일 20TB 수집
- 전 세계 수천 개 소스 처리
- 온보딩 기간: 수 주 → 수 시간으로 단축
관련 위키
Source: 원문 보기