비용 분해 축
| 축 | 예시 |
|---|---|
| 모델 | 고성능 모델 vs 경량 모델 |
| 기능 | 검색/요약/분류/에이전트 실행 |
| 사용자군 | 무료/유료, 내부/외부 |
| 시간대 | 배치 시간, 피크 시간 |
비용 최적화 레버
- 프롬프트 길이 축소
- 캐시 사용률 개선
- 모델 라우팅 계층화(기본 경량, 필요 시 상위 모델)
- retrieval top-k 최적화
- 불필요한 재시도 제한
월간 비용 리뷰 체크리스트
- 상위 10개 고비용 엔드포인트 확인
- 비용 대비 성능 개선폭 검토
- 캐시 적중률 하락 원인 분석
- 비정상 트래픽/오용 패턴 점검
- 다음 달 절감 실험 항목 확정
실무 적용 체크리스트
- 이 문서의 규칙을 실제 서비스 플로우에 매핑했습니다.
- 측정 지표와 실패 임계값을 숫자로 정의했습니다.
- 변경 전/후를 비교할 기준 데이터셋 또는 로그를 준비했습니다.
- 팀 내 공유 문서(런북/가이드)에 반영했습니다.
자주 나는 실수
- 기준 지표 없이 개선을 선언합니다.
- 한 번에 여러 변수를 바꿔 원인 추적이 불가능해집니다.
- 롤백 조건 없이 배포해 장애 복구가 늦어집니다.
다음 문서
다음: 평가 (Evaluation)
학습 흐름을 이어서 진행합니다.