RAG 개발 여정
RAG 시스템을 “될 것 같다”(PoC)에서 “안정 운영”(Production)까지 체계적으로 발전시키는 로드맵입니다. 각 단계마다 게이트 기준을 통과해야 다음으로 진행하며, LLMOps(관찰성/평가/프롬프트 관리)가 전 과정에 걸쳐 따라붙습니다.전체 로드맵
단계별 개요
Level 1: Naive RAG (PoC)
샘플 문서 20~50개로 “될 것 같다”를 증명합니다. 최소한의 LLMOps(Trace + Prompt 버전)를 세팅하여 나중에 고치기 쉬운 흔적을 남깁니다.
Level 2: MVP (파이프라인 + 평가체계)
실무 데이터를 투입하고, 반복 평가 가능한 시스템(Dataset/지표/리포트)을 구축합니다. 증분 인덱싱과 메타데이터 설계가 핵심입니다.
Level 3: Advanced (검색전략 + 가드레일)
정확도를 높이고 안전한 실패를 보장합니다. Query Rewrite, Hybrid Search, Re-rank, 가드레일을 조합하고 LLM-as-Judge로 자동 평가합니다.
LLMOps 도구 선택
각 단계에서 Langfuse 또는 LangSmith를 활용하여 관찰성/평가/프롬프트 관리를 수행합니다.| 기능 | Langfuse | LangSmith |
|---|---|---|
| 트레이싱 | Trace/Span 기반, 오픈소스 | LangChain 네이티브 통합 |
| 평가 | LLM-as-Judge + Annotation Queue | Dataset 기반 반복 평가 |
| 프롬프트 관리 | 버전/라벨/환경별 배포 | Playground/Hub/커밋 버전 |
| 강점 | 운영 친화형, 셀프호스팅 가능 | LangChain 생태계 완벽 통합 |
세부 가이드
Level 1: PoC
Naive RAG로 가능성 증명
Level 2: MVP
실무 데이터 + 반복 평가 체계
Level 3: Advanced
검색전략/가드레일 + 자동 평가
Level 4: Production
서비스화 + 운영 루프
LLMOps 통합 가이드
Langfuse / LangSmith 세팅 체크리스트
참고 자료
| 자료 | 링크 |
|---|---|
| Langfuse 공식 문서 | langfuse.com/docs |
| LangSmith 공식 문서 | docs.smith.langchain.com |
| RAGAS 공식 문서 | docs.ragas.io |