정렬 (Alignment)
SFT가 “기본 실력”을 맞추는 단계라면, 정렬은 “선호와 정책”을 맞추는 단계입니다.무엇을 정렬하는가
- 더 선호되는 답변 스타일
- 안전 정책 준수 행동
- 장문/단문, 근거 제시 방식 같은 응답 성향
학습 경로
실무 적용 순서
- SFT 안정화
- 선호 데이터 수집
- DPO/ORPO 소규모 실험
- 안전성/일관성 평가
- 온라인 검증
03. 정렬(Alignment)
정렬 (Alignment)
모델 응답 선호를 반영하는 DPO/ORPO/RLHF의 개념과 적용 시점을 다룹니다.