SLO 예시:
- 가용성: 월간 99.9% (허용 다운타임 ~43분)
- 지연: p99 < 200ms
- 오류율: < 0.1%

월간 Error Budget = (1 - SLO) × 총 시간(분)

예시: SLO 99.9%, 30일 기준
Error Budget = 0.001 × 30 × 24 × 60 = 43.2분/월

분기 Error Budget = 0.001 × 90 × 24 × 60 = 129.6분/분기

# Error Budget Policy 예시
policy:
  service: recommendation-api
  slo: 99.9%
  window: 30d

  actions:
    budget_50_percent:
      - 배포 검토 미팅 주 1회 추가
      - 모니터링 임계치 강화
    budget_75_percent:
      - 신규 기능 배포 중단
      - 안정성 스프린트 시작
    budget_100_percent:
      - 전체 배포 동결
      - 포스트모템 필수
      - 경영진 보고

# [서비스명] - [증상]
## 증상
- 어떤 알림이 발생하는가
- 사용자에게 어떤 영향이 있는가

## 가능한 원인
1. 원인 A: 설명
2. 원인 B: 설명

## 확인 명령
# 원인 A 확인
kubectl get pods -n production | grep -v Running
curl -s http://service:8080/health | jq .status

## 복구 절차
### 원인 A인 경우
1. 구체적인 명령어
2. 확인 방법
3. 성공 기준

### 원인 B인 경우
1. 구체적인 명령어

## 에스컬레이션
- 15분 내 미해결: 팀 리드 @이름
- 30분 내 미해결: SRE 팀 @채널

# 포스트모템: [인시던트 제목]
- 날짜: YYYY-MM-DD
- 심각도: SEV1~4
- 작성자: 이름
- 상태: 초안 / 검토 완료

## 요약
한 문단으로 전체 인시던트 설명

## 영향
- 영향 시간: HH:MM ~ HH:MM (총 N분)
- 영향 사용자: N명 / N%
- 비즈니스 영향: 매출 손실, SLO 영향 등

## 타임라인
| 시각 | 이벤트 |
|------|--------|
| 09:00 | 배포 시작 |
| 09:15 | 알림 발생 |
| 09:20 | 원인 파악 |
| 09:30 | 롤백 완료 |

## 근본 원인
기술적 원인을 상세히 기술

## 교훈
### 잘 된 점
- 알림이 5분 내 발생
### 개선할 점
- 카나리 배포가 적용되지 않음

## 액션 아이템
| 액션 | 담당자 | 우선순위 | 기한 |
|------|--------|----------|------|
| 카나리 배포 적용 | @이름 | P1 | 2주 |
| 알림 임계치 조정 | @이름 | P2 | 1주 |

# GPU 장애 대응 런북 핵심
gpu_health_check:
  - nvidia-smi 상태 확인
  - GPU 메모리 사용률 확인
  - ECC 에러 카운트 확인
  - GPU 온도 모니터링 (80–90°C에서 스로틀링, 모델별 상이)

recovery_actions:
  - GPU 프로세스 강제 종료: fuser -v /dev/nvidia*
  - CUDA 컨텍스트 리셋
  - 노드 재시작 (최후 수단)
  - 트래픽 다른 노드로 자동 전환