Entity Resolution
이종 소스에 흩어진 같은 엔티티의 레코드를 단일 golden record로 통합
핵심 개념
Entity Resolution은 같은 사람·회사가 여러 vendor·시스템에 제각각(이름 변형, null 패턴 차이, 스키마 차이)으로 등장할 때, 이들을 단일 canonical record로 reconcile하는 문제다. GTM·고객 데이터 통합의 핵심 난제는 볼륨이 아니라 “무엇이 진짜인가”(fidelity). 룰 기반 매칭은 일부만 해결하고 edge case에서 무너진다.
ML 기반 파이프라인 (Rippling)
candidate blocking → pairwise classifier → cluster classification → survivorship
- Candidate blocking: pairwise 비교는 n² 연산 → blocking tree를 학습해 “같은 엔티티일 현실적 가능성”이 있는 쌍만 스코어링 대상으로 축소
- Supervised pairwise classifier: 두 레코드가 같은 엔티티인지 스코어
- 매치 종류 분류(단순 match/no-match가 아님): same person across providers / job change(같은 사람, 다른 회사) / internal job change(같은 회사, 다른 role) / singleton
- Survivorship: 어떤 값이 golden record에 남을지 결정. 각 resolved 엔티티는 신뢰도 점수 + 기여 source의 ranked 감사(승자·패자·충돌 지점) 보유
데이터 프로파일링이 먼저
프로덕션 잡 전에 ~1개월 notebook에서 컬럼 프로파일링(fill rate, cardinality, null 패턴, vendor 특이성)으로 blocking·scoring·survivorship에 유용한 필드 식별. 이 컬럼 레벨 메트릭이 프로덕션 튜닝 가이드.
학습 데이터 stratification
identity anchor 가용성(LinkedIn URL+email / LinkedIn만 / email만 / 둘 다 없음) 4 세그먼트로 대표 샘플. 작은 vendor는 over-sample(cross-provider 매치 쌍 확보), anchor 없는 레코드는 full 포함(과소대표 방지).
왜 중요한가
엔티티 해결은 단지 “매치 여부”가 아니라 어떤 종류의 매치인지, 무엇이 golden record에 남을지, 어떤 다운스트림 워크플로가 안전하게 의존할 수 있는지를 결정한다. 잘못 해결된 엔티티는 중복 leads, 중복 enrichment 비용, 여러 rep의 동일인 접촉 → CAC 상승·전환 하락으로 직결. AI 에이전트가 신뢰성 있게 추론하려면 이 fidelity 레이어가 Medallion Architecture의 Silver 레이어에 필요하다.
연관 개념
- AI-Ready Data — entity resolution이 만드는 신뢰 가능한 데이터
- Medallion Architecture — Silver 레이어에서 수행
- Data Quality and Validation — “무엇이 진짜인가”의 검증
- Knowledge Graph Infrastructure — identity graph와 관계 해결
- AI Self-Serve Analytics — 통합 entity가 에이전트 추론의 기반
Source: Building an AI Database for Agentic GTM Operations at Rippling