실험 설계 항목
| 항목 | 설명 |
|---|---|
| 가설 | 어떤 지표가 얼마나 개선될지 |
| 단위 | 사용자/세션/요청 단위 분할 |
| 기간 | 트래픽 변동을 반영한 충분한 기간 |
| 성공 기준 | 최소 개선폭 + 안전 지표 조건 |
| 중단 기준 | 오류율/지연/비용 급증 시 즉시 중단 |
롤아웃 전략
실패 시 대응
- 즉시 이전 버전으로 롤백
- 어떤 지표가 악화됐는지 사고 기록
- 평가셋/프롬프트 가정 보완 후 재실험
Langfuse에서 롤아웃 전 사전 검증
1) Playground에서 프롬프트를 빠르게 검증합니다
- 동일 질문으로
production과candidate출력을 비교합니다. - 출력 길이, 톤, 정책 문구 누락 여부를 먼저 확인합니다.
2) Playground가 비어 있으면 LLM Connection부터 설정합니다
- 프로젝트에서 모델이 보이지 않으면 연결이 없는 상태입니다.
- 조직/프로젝트 설정에서 LLM connection을 먼저 연결합니다.
실무 적용 체크리스트
- 이 문서의 규칙을 실제 서비스 플로우에 매핑했습니다.
- 측정 지표와 실패 임계값을 숫자로 정의했습니다.
- 변경 전/후를 비교할 기준 데이터셋 또는 로그를 준비했습니다.
- 팀 내 공유 문서(런북/가이드)에 반영했습니다.
자주 나는 실수
- 기준 지표 없이 개선을 선언합니다.
- 한 번에 여러 변수를 바꿔 원인 추적이 불가능해집니다.
- 롤백 조건 없이 배포해 장애 복구가 늦어집니다.
다음 문서
다음: 운영과 거버넌스
학습 흐름을 이어서 진행합니다.