개념 비교
| 항목 | LoRA | QLoRA |
|---|---|---|
| 핵심 아이디어 | 저랭크 어댑터 학습 | 저랭크 + 베이스 가중치 양자화 |
| 메모리 사용 | 중간 | 낮음 |
| 학습 속도 | 빠름 | 환경에 따라 다름 |
| 구현 난이도 | 낮음 | 중간 |
| 권장 상황 | 단순/빠른 실험 | VRAM 제약이 큰 환경 |
주요 하이퍼파라미터
| 파라미터 | 의미 | 실무 팁 |
|---|---|---|
r | LoRA 랭크 | 너무 크면 과적합, 너무 작으면 표현력 부족 |
alpha | 스케일링 계수 | 보통 r과 함께 조정 |
target_modules | 어댑터 적용 레이어 | attention projection부터 시작 |
dropout | 어댑터 드롭아웃 | 작은 값으로 과적합 완화 |
선택 기준
- GPU 메모리가 여유롭고 반복 실험이 필요하면 LoRA
- 단일 GPU에서 큰 모델을 다뤄야 하면 QLoRA
- 결과 안정성을 먼저 본 뒤 비용 최적화를 진행
주의할 점
- 양자화 설정이 맞지 않으면 학습 안정성이 떨어질 수 있습니다
- 체크포인트 저장 형식이 팀 표준과 맞는지 확인합니다
- 추론 환경에서 어댑터 로딩/머지 방식도 사전에 고정합니다
실무 적용 체크리스트
- 이 문서의 규칙을 실제 서비스 플로우에 매핑했습니다.
- 측정 지표와 실패 임계값을 숫자로 정의했습니다.
- 변경 전/후를 비교할 기준 데이터셋 또는 로그를 준비했습니다.
- 팀 내 공유 문서(런북/가이드)에 반영했습니다.
자주 나는 실수
- 기준 지표 없이 개선을 선언합니다.
- 한 번에 여러 변수를 바꿔 원인 추적이 불가능해집니다.
- 롤백 조건 없이 배포해 장애 복구가 늦어집니다.
다음 문서
다음: Unsloth + TRL 워크플로우
학습 흐름을 이어서 진행합니다.