Data Mesh at Grab (Part II): The Foundational Tools Behind Certification

Author: Grab Engineering | Source: Grab Engineering Blog | Published: 2026


한 줄 요약

Grab은 메타데이터 이벤트 기반의 자동화된 인증 시스템으로 데이터 메시를 운영하며, 수동 체크리스트 없이 데이터 품질을 지속적으로 보장한다.

핵심 주장/내용

  • Hubble: DataHub 기반 카탈로그에 이벤트 드리븐 인증 엔진을 구축하여 4단계(uncertified/certified/certifiedPlus/revoked) 상태를 자동 관리한다
  • Genchi: 파이프라인 완료 시 Lighthouse를 통해 freshness, volume, schema, semantic 검사를 트리거하는 데이터 품질 관측 플랫폼이다
  • Data Contract Registry: JSON 계약에 헬스 URL을 내장하여 Kinabalu를 통한 자동화된 인시던트 관리를 지원한다
  • 인증은 수동 체크리스트가 아닌 메타데이터 이벤트로부터 지속적으로 계산된다

주요 수치 / 사실

  • P80 데이터셋이 1년 만에 58% 감소

관련 위키


Source: 원문 보기