From Zero to a RAG System: Successes and Failures
Author: Andros Fenollosa | Source: andros.dev | Published: 2026-03-23
한 줄 요약
1TB 기술 문서를 대상으로 로컬 RAG 시스템을 구축한 실전 경험기 — Ollama, LlamaIndex, ChromaDB 조합과 6가지 엔지니어링 문제의 해결 과정.
핵심 주장/내용
- 기밀 요건으로 로컬 LLM(Ollama + LLaMA) 선택 → 외부 API 의존 제거
- 451GB 비정형 파일에서 확장자·패턴 기반 필터링으로 54% 파일 제거 후 처리 가능
- LlamaIndex JSON 스토리지의 한계 → ChromaDB 마이그레이션으로 배치 처리·체크포인트 복구 확보
- GPU(RTX 4000 SFF Ada) 투입으로 인덱싱 2-3주 내 완료 (CPU 대비 수십배)
- Azure Blob Storage + SAS 토큰으로 100GB 디스크 제약 극복
- 데이터 품질이 RAG 시스템 성공의 가장 중요한 요인
주요 수치 / 사실
- 738,470개 벡터, 54GB 인덱스 생성
- 파일 필터링으로 54% 감소
- GPU 비용: €184/월 (Hetzner RTX 4000 SFF Ada)
- 아키텍처: Ollama + nomic-embed-text + ChromaDB + LlamaIndex + Flask + Streamlit + Docker Compose
관련 위키
Source: 원문 보기