Data Eng Wiki

the-stats-duck v0.6.0 - Statistics in SQL

2 min read

the-stats-duck v0.6.0 — Statistics That Live in Your SQL

Author: Massimo Meneghello | Source: kolistat.com | Published: 2026-06-22

한 줄 요약

DuckDB가 SQL을 떠나지 않고 실제 통계(분포·검정·회귀·플롯)를 수행하게 하는 오픈소스 확장 the-stats-duck의 v0.6.0 — one-shot 프로파일러, R-style 회귀, bootstrap CI, 10개 분포, 52x 빨라진 SAS/XPT 임포트.

핵심 주장/내용

  • DuckDB 확장(MIT, 브라우저 포함 DuckDB가 도는 곳 어디서나)으로 “SQL이 통계 부서를 갖게 됨”. Bedevere·KoliLang의 통계 엔진
  • meta(): 한 번에 전체 테이블 프로파일(컬럼당 1행 — kind/n_missing/n_distinct/mean/median/stddev/top). SUMMARIZE와 겹치나 table function이라 join·filter·CTE로 compose 가능
  • lm() / lm_summary(): SQL 쿼리 내 OLS, R-style formula(body_mass_g ~ flipper_length_mm + bill_length_mm). Cholesky solve, R과 4자리 cross-verify
  • bootstrap(): 정규성 가정 없이 resample → LIST<DOUBLE> + list_aggregate(..., 'quantile_cont', p)로 percentile CI. seed로 재현(GROUP BY 그룹 간에도)
  • VISUALIZE ... DRAW: SQL에서 차트(ggsql → Vega-Lite). violin, 2-D facet, per-layer STAT smooth(LOESS), DRAW regression
  • 10개 새 분포: negative binomial, hypergeometric, Weibull, log-normal, Poisson 등 R-style d/p/q + random sampler. R과 6자리 cross-check

주요 수치 / 사실

  • read_stat(SAS/SPSS/Stata) 52x 빨라짐(이전 O(N²) — chunk마다 byte 0부터 재파싱): 200k행 67s→1.3s, 1.6M행 70분→15s
  • GitHub: KoliStat/the-stats-duck, v0.6.0 코드명 “i-m-not-dead”
  • DuckDB의 임베디드 분석 생태계 확장 사례 → DuckDB

관련 위키

Source: 원문 보기

그래프 뷰

백링크