LLM 서비스는 입력과 출력 모두에서 리스크가 발생합니다.
보안은 “모델 앞”과 “모델 뒤”를 함께 다뤄야 합니다.
핵심 통제 항목
| 영역 | 통제 항목 |
|---|
| 데이터 | PII 탐지/마스킹, 저장 주기, 삭제 정책 |
| 접근 | API 키/토큰 관리, 권한 분리, 비밀값 로테이션 |
| 출력 | 정책 위반 필터링, 민감 응답 차단 |
| 감사 | 요청 로그, 변경 이력, 관리자 작업 기록 |
정책 문서 최소 세트
- 데이터 분류 정책
- 모델/프롬프트 변경 승인 정책
- 로그 보존/파기 정책
- 서드파티 모델 사용 정책
Langfuse 운영 화면 점검
- 조직 설정에서 멤버/권한/감사 정보를 정기 점검합니다.
- 평가/프롬프트/모델 변경 이력을 추적 가능한 상태로 유지합니다.
실무 체크리스트
- 운영 로그에 원문 개인정보를 저장하지 않는다
- 프롬프트/모델 변경은 승인 흐름을 거친다
- 외부 API 연동 시 데이터 전송 범위를 최소화한다
- 분기별 접근 권한을 재검토한다
정확한 법적 준수 요건은 국가/산업에 따라 다릅니다.
법무/보안팀과 함께 내부 기준을 확정한 뒤 반영합니다.
실무 적용 체크리스트
자주 나는 실수
- 기준 지표 없이 개선을 선언합니다.
- 한 번에 여러 변수를 바꿔 원인 추적이 불가능해집니다.
- 롤백 조건 없이 배포해 장애 복구가 늦어집니다.
