How Data 360 Segmentation Processes a Quadrillion Records (Salesforce)

Author: Deepak Pushpakar (Salesforce) | Source: Salesforce Engineering Blog | Published: 2026-06-16

한 줄 요약

Salesforce Data 360 세그멘테이션이 임의의 고객 스키마·관계 그래프 위에서 월 1천조 레코드를 처리하며 99.95% 신뢰성을 유지하는 비결은, 워크로드 인텔리전스(사이즈 추정·적응형 리소스)와 phased query planning.

분산 시스템을 예측 가능하게 만드는 변수를 거의 통제하지 못하는 환경: 고객이 임의의 데이터 모델·관계 그래프·데이터 품질·스토리지를 가져옴. “모든 고객이 다른 버전의 스케일링 문제를 만든다”
런타임에 고객 정의 관계·계층·객체 구조를 동적 해석(사전 스키마 강제 아님)
워크로드 인텔리전스: 지능형 워크로드 사이즈 추정(실행 전 right-size), SLA-aware retry, rate limiting, 적응형 컴퓨트 할당, 프로덕션 미러링(하위 환경이 프로덕션 못 흉내) → 99.95% 신뢰성을 과도한 컴퓨트 없이
고객 데이터발 실패 모드: dataset skewness(Spark 내장 skew 처리 초과), Cartesian explosion(중복·suboptimal join key), suboptimal partitioning
메타데이터 확장성: 3,000~~6,000 테이블 + 수천 관계 → 500MB+ 메타데이터 payload(UI 로드 곤란) → relationship guardrail + 직렬화 최적화. query planning이 수백만~~수십억 plan 평가 → phased query planning(전체가 아닌 단계별 독립 최적화, global optimal 아닌 trade-off, 복잡도 임계 시만 선택 적용)

월 1천조(quadrillion) 레코드, 월 ~~300만 Spark 잡(1만~~1천억 레코드/잡), 일 ~10만 Spark 잡
99.95% 신뢰성; 알림은 10분 내 5건 실패 시 발화(고객/지역/글로벌 레벨)
Zero Copy Framework로 Snowflake/Databricks/BigQuery/Fabric 외부 실행 가능(통제 못해도 SLA 책임)