관찰성 (Observability)
관찰성이 없으면 문제를 고칠 수 없습니다. 최소한 “요청-응답-비용-지연”은 한 흐름으로 추적되어야 합니다.최소 계측 항목
- request_id / session_id / user_segment
- prompt version / model version / retrieval version
- latency breakdown (검색, 생성, 후처리)
- input/output tokens, cache hit
- safety filter 결과, fallback 발생 여부