How Anthropic Enables Self-Service Data Analytics with Claude
Author: Anthropic Data Science/Engineering team | Source: claude.com/blog | Published: 2026
한 줄 요약
Anthropic이 비즈니스 분석 쿼리의 95%를 Claude로 ~95% 정확도로 자동화한 비결은, 정확성을 “코드 생성”이 아닌 컨텍스트·검증 문제로 보고 data foundations → sources of truth → skills → validation의 agentic 분석 스택을 구축한 것.
핵심 주장/내용
- 데이터는 소프트웨어가 아니다: 코딩은 open-ended + 테스트가 가드레일이지만, 분석은 단일 정답·단일 소스인데 결정론적 정답 증명 불가. 복잡성은 데이터의 모호성에 있음
- 3가지 실패 모드: ① concept↔entity 모호성(수백 후보 중 올바른 필드 선택 실패) ② data staleness(소스·정의·스키마 변화로 답이 stale) ③ retrieval failure(정보는 있으나 못 찾음)
- agentic 분석 스택(각 레이어가 한 실패 모드 공략):
- Data Foundations: canonical dataset(단일 governed 답), 표준 enforce(tooling/CI/mandate), colocation(데이터 코드 단일 repo), 메타데이터를 1급 product로
- Sources of Truth(신뢰 순): semantic layer(structurally required first) > lineage/transformation graph > query corpus(주의: raw 접근은 정확도 1%p 미만 개선) > business context(company knowledge graph)
- Skills: 절차적 지식. knowledge skill(thin router → 도메인 reference docs) + unbook skill(시니어 분석가 프로세스 + 재사용 패턴). skill 없으면 21%, 있으면 95%+
- Validation: offline eval(snapshot 고정, 텔레메트리로 저장, 도메인별 launch gate) + ablation(null 결과 설계 — query corpus 접근은 영향 없었음 → 병목은 access가 아닌 structure) + online(adversarial review +6% 정확도/+32% 토큰, provenance footer, 능동적 correction harvesting)
- 반복 강조: skill 유지보수는 1급(미관리 시 한 달 만에 95%→65%). 데이터 모델 PR과 같은 PR에서 skill doc 갱신(90% PR이 skill 변경 포함). semantic layer 정의는 human이 소유(LLM 자동생성은 net-negative)
주요 수치 / 사실
- 비즈니스 분석 쿼리 95% 자동화, aggregate ~95% 정확도(일부 도메인 ~99%)
- skill 추가로 21%→95%+; adversarial review +6% 정확도/+32% 토큰/+72% 지연
- silent failure(그럴듯하나 틀린 답)는 여전히 미해결 — provenance footer·human sign-off·일일 KPI sanity check로 완화
관련 위키
Source: 원문 보기