The Model is the Easy Part: Building the LLM Platform at Whatnot
Author: Stas Sajin, Faithful Alabi, Peiyun Zhang, Peicheng Yu | Source: Whatnot Engineering | Published: 2026-04-15
한 줄 요약
LLM 프로덕션 플랫폼의 핵심은 모델 호출이 아닌 velocity(빠른 반복), trust(품질 측정), reliability(안정성) 세 축을 강화하는 인프라 구축이다.
핵심 주장/내용
- “모델 호출은 쉬운 부분” — 실제 난제는 비결정적 출력, 약한 ground truth, 의도치 않은 방향으로의 시스템 이탈
- Velocity: PM/Ops도 프롬프트 실험 가능. Post-exposure logging으로 두 variant가 같은 출력을 낼 때 exposure 미집계 → 10x+ 빠른 반복
- Trust: LLM-as-a-judge 캘리브레이션 워크플로우로 도메인 전문가가 evaluator를 직접 교육, 프로덕션 드리프트 사전 감지
- Reliability: 멀티 프로바이더, fallback, caching, rate limiting, guardrails를 플랫폼 레벨에서 기본 제공
- 기존 데이터 인프라(통합 코드베이스, 분석 싱크, 로깅)가 빠른 플랫폼 구축의 기반
주요 수치 / 사실
- 80%의 경우 두 프롬프트가 같은 출력 → post-exposure logging으로 20%의 실제 차이에만 집중
- Tool Registry: 엔지니어가 Python으로 도구 정의 → 공유 카탈로그에 자동 등록 → PM이 프롬프트에 부착
관련 위키
Source: 원문 보기