​

LLMOps

LLM 애플리케이션의 운영, 모니터링, 평가를 위한 가이드입니다. Langfuse를 중심으로 프롬프트 관리, 트레이싱, 비용 최적화를 다룹니다.

​

다룰 내용

​

Langfuse 기초

• Langfuse 설치 및 설정
• 트레이싱 (Tracing) 개념
• LangChain / LangGraph 연동

​

프롬프트 관리

• 프롬프트 버전 관리
• A/B 테스트
• 프롬프트 최적화 전략

​

모니터링 및 평가

• LLM 호출 비용 추적
• 레이턴시 모니터링
• 사용자 피드백 수집
• 자동화된 품질 평가

​

프로덕션 운영

• 배포 전략
• 장애 대응
• 스케일링 패턴