The Semantic Layer and Data Modeling Dilemma in AI Analytics
Author: Timothy Wong | Source: linkedin.com/pulse | Published: 2026-09-03
한 줄 요약
AI 애널리틱스를 확장하면서 드러난 반복적 트레이드오프 — 모델링을 너무 적게 하면 AI가 틀린 지표·grain·조인으로 설득력 있는 답을 내고, 너무 많이 하면 새 질문마다 데이터 엔지니어링 프로젝트가 된다 — 에 대한 운영 원칙: “Model the core. Curate the context. Evaluate continuously.”
핵심 주장/내용
- AI가 만든 변화는 속도가 아니라 탐색성: Hex와 사내 AirDS로 AI 애널리틱스를 확장하며 강한 수요와 셀프서브 데이터 사용의 명확한 증가를 봤다. AI는 기존 질문에 더 빨리 답하도록 돕는 것만이 아니라 팀을 더 탐색적으로 만든다
- 커머셜·제품 팀이 사용량·전환·리텐션 같은 정량 신호와 고객 대화·피드백·서포트 인터랙션의 정성적 맥락을 결합해 고객 트렌드를 더 직접적이고 반복적으로 조사할 수 있다
- 예전에는 데이터 팀에 정식 요청이 필요했던 질문들이 데이터와의 지속적 대화가 되어간다
- 드러난 반복적 트레이드오프: 시맨틱 레이어와 데이터 모델에 시간을 더 투자할수록 답이 더 정확하고 일관되어진다. 하지만 그것이 우리를 느리게 만들 수도 있다
- 모델링을 너무 적게 하면 AI가 틀린 지표, 틀린 grain, 틀린 조인으로 설득력 있는 답을 만들 수 있다
- 사전에 너무 많이 하면 모든 새 질문이 데이터 엔지니어링 프로젝트가 된다
- 현재 접근 — 5단계:
- Model the core — 일관성이 유지되어야만 하는 지표·엔티티·관계를 명시적으로 정의한다
- 큐레이션된 context layer 구축 — 핵심 모델 너머로 AI가 필요로 하는 리니지, 정의, 비즈니스 지식, 분석 가이드를 담는다
- 그 컨텍스트를 엄격히 관리 — 데이터 팀이 무엇이 속하는지, 어떤 소스가 authoritative한지, 누가 소유하는지, 어떻게 최신으로 유지되는지를 결정한다
- 오프라인 eval 실행 — Staff Data Scientist 한 명이 전담으로 평가 프레임워크를 정의하고 시스템을 확장하기 전에 테스트한다
- 온라인 eval 실행 — 더 넓은 데이터 사이언스 팀이 실제 출력을 리뷰하고, 실패 모드를 식별하고, 그 학습을 더 나은 컨텍스트·모델·평가 케이스로 전환한다
- 데이터 사이언스 팀의 역할 재정의: 데이터 사이언스 팀은 사라지지 않는다. 시스템을 평가하고 그 컨텍스트를 지속적으로 개선하는 human feedback loop가 되어간다
주요 수치 / 사실
- 운영 원칙: “Model the core. Curate the context. Evaluate continuously.”
- 핵심 모델과 컨텍스트 레이어를 분리한 것이 이 접근의 요점이다 — 모든 것을 정식 데이터 모델로 만들려 하지 않고, 일관성이 필수인 것만 모델링하고 나머지는 큐레이션된 컨텍스트로 다룬다
- 평가에 전담 인력을 배치한 것이 실행 측면의 핵심 신호 — 오프라인 eval은 Staff Data Scientist 전담, 온라인 eval은 팀 전체가 실제 출력 리뷰
관련 위키
- Semantic Layer
- Semantic Control Plane
- AI Self-Serve Analytics
- Consensus Engineering
- LLM Evaluation
- Context Engineering
- AI-Ready Data
- Data Modeling
Source: 원문 보기