Crowdsourced taxonomy verification: A feedback-driven framework for refining knowledge graph relationships via online search interactions
Author: Junpeng Niu (Grab) | Source: engineering.grab.com | Published: 2026-07-30
한 줄 요약
LLM이 만든 지식 그래프 엣지를 진실이 아니라 가설로 취급하고 검색 인터페이스 자체를 검증 환경으로 삼아 라이브 트래픽에 주입해, 사용자 참여 신호로 승격하거나 pruning한다.
핵심 주장/내용
- 세 가지 난제:
- LLM의 부정확성과 환각 — 자동 모델이 의미론적 실체가 아니라 통계적 텍스트 동시 출현에 근거해 관계를 추론한다. 언어적 유사성 때문에 “Pho”를 “Italian Noodle Soup”의 자식으로 잘못 분류하는 식
- 수동 검증의 확장 한계 — 사람 어노테이터나 도메인 전문가에 의존하는 전통적 방식은 느리고 비싸며 수백만 엔티티를 담은 동적 카탈로그(식당 메뉴, 식료품 SKU가 매일 변한다)를 따라갈 수 없다
- 랭킹으로의 에러 전파 — 부정확한 그래프 엣지가 다운스트림에 에러를 전파한다. 부모-자식 관계가 틀리면 query expansion 알고리즘이 무관한 아이템을 검색해 CTR과 사용자 신뢰를 직접 떨어뜨린다
- 핵심 발상 — 검색 인터페이스를 검증 환경으로 운영화: 검증되지 않은 그래프 엣지를 가설로 취급하고, 진실로 받아들이는 대신 검색 제안에 주입해 라이브 트래픽에 대해 테스트하고 사용자 참여를 측정한다
- 엔티티(노드)가 아니라 구조적 링크(엣지)를 검증한다 — 엔티티 A가 진짜로 B의 부모/자식/형제인지 확인해 구조적 무결성을 보장. 엔티티만 검증하는 시스템과의 차별점
- KG 코어의 두 상태:
- Verified edge — 높은 히스토리 트래픽이나 사람 확인으로 검증된 확립된 관계. 그래프의 안전한 구조이고 표준 검색 결과를 구동 (“Sushi”는 확실히 “Japanese Cuisine”의 자식)
- Candidate edge — LLM이나 콘텐츠 스크레이퍼가 만든 확률적·미검증 관계. 증명되기를 기다리는 가설로 취급되어 검증 전까지 메인 검색 알고리즘에 보이지 않는다
- 주입 모듈 — exploration vs exploitation: 관련성만 엄격히 최적화하는 표준 랭킹과 달리 균형 전략을 쓴다. 사용자가 검색하면 고신뢰 결과를 검색(exploitation)하는 동시에 쿼리 관련 candidate edge의 작은 부분집합을 의도적으로 가져와 저위험 슬롯(related searches chip carousel의 3~4번째 위치 등)에 주입. 사용자 좌절을 막기 위해 세션당 보여줄 candidate 수를 제한해 주로는 검증된 유용한 콘텐츠를 서빙하면서 가설 테스트에 충분한 데이터 포인트를 확보
- 행동 추적 — contextual anchoring이 핵심: 최종 클릭만이 아니라 상호작용이 일어난 정확한 맥락을 포착해 의미론적 의도를 판단한다. 사용자가 쓴 검색어(anchor)를 로깅하고, “Pho”에 대한 클릭은 그 사용자가 그때 “Noodle Soup”을 검색 중이었을 때에만 그 관계에 대한 표로 계산된다
- 가중 상호작용 로직: 원시 클릭 수 대신 노력·커밋이 더 필요한 행동에 더 높은 값을 부여. “Purchase”나 “Add-to-Cart”는 단순 클릭보다 훨씬 무겁게 가중되고 관계에 대한 강한 검증을 의미한다. 반대로 아이템을 빠르게 스크롤해 지나치거나 건너뛰는 것은 음의 신호. 정규화 — 총 가중 점수를 노출 횟수로 나눠 총 트래픽은 적지만 정확도가 높은 니치 아이템이 부당하게 불이익받지 않게 한다
- 그래프 토폴로지 업데이트 (이진 결정):
- Promotion (verify) — 신뢰 비율이 검증 임계를 넘으면 candidate → verified로 승격. 그래프의 영구적 일부가 되어 모든 사용자에게 표시
- Demotion (prune) — 참여를 얻지 못하거나 음의 신호를 받아 pruning 임계 아래로 떨어지면 엣지를 자동 삭제. AI의 환각을 교정하고 데이터셋을 정리해 같은 나쁜 추천을 다시 하지 않게 한다
- 케이스 스터디 (푸드 딜리버리): LLM 인제스션 파이프라인이
Noodle Soup → Dry Mee Pok후보 부모-자식 링크를 플래그하고 미검증 candidate로 저장 → 사용자가 “Noodle Soup”을 검색하면 검증 결과와 함께 “Refine by Dish” 필터 carousel에 주입하고 anchor 쿼리-candidate 링크의 impression을 로깅 → 클릭·dwell time·스크롤 행동·전환을 검증 윈도우 동안 가중 집계 → 임계를 만족하면 승격, 실패하면 pruning하거나 더 적절한 부모 노드로 re-map - 향후 — 계층적 신뢰 티어: 새 연결을 프로덕션 그래프에 안전하게 졸업시키기 위해 volume과 variety를 둘 다 요구하는 이중 측정 신뢰 시스템 도입. support mass(제품 히트, 그래프 깊이, 최신성)와 corroboration(고유 세션, 익명 코호트, 시간적 분산). 연결은 proposed → shadow eligible → canary eligible → production 이라는 엄격한 상태 기계를 올라야 하고 두 지표가 점진적으로 높아지는 임계를 만족할 때만 전진하며, 스냅샷이 어느 티어의 바닥 아래로 떨어지면 자동 강등
- 향후 — adversarial·spam 저항: 나쁜 행위자·봇·반복적 사용자의 조작을 막기 위한 다층 방어. 머천트별 rate limit과 anti-abuse 통제(세션/기기당 시간 상한, 빠르게 반복되는 행동에 지수 백오프, 거부나 “irrelevant” 신호 후 해당 사용자 코호트로부터의 승격을 몇 시간 동결). 봇·Sybil 방어로 abuse 시스템이 플래그한 트래픽을 신뢰 계산에서 제외(분석용으로는 로깅), 표가 다양한 네트워크 서브넷이나 코호트 버킷에서 와야 하고 버킷마다 일일 기여 상한
관련 위키
- Crowdsourced Graph Verification
- Knowledge Graph Infrastructure
- Knowledge Representation
- Human-in-the-Loop Labeling
- ML Ranking Systems
- A-B Testing and Experimentation
- Data Quality and Validation
Source: 원문 보기