논문 정보
- 날짜:
2026-04-12 - 카테고리: -
- 우선순위 점수: 5.2
핵심 요약
추론 SFT가 암기만 한다는 기존 통념과 달리, 최적화 과정과 데이터 품질 및 모델 능력에 따라 도메인 간 일반화가 가능함을 입증했습니다. 학습 초기 성능이 하락했다가 회복되는 패턴이 발견되었으며, 검증된 긴 CoT 데이터는 타 도메인 성능 향상에 기여합니다. 다만 추론 능력 향상이 안전성 저하를 초래하는 비대칭적 일반화 양상이 관찰되었습니다.학습자 관점 포인트
- 우리 팀 영향: SFT 단계에서 충분한 최적화와 고품질 CoT 데이터 확보가 모델의 범용 추론 능력 향상에 필수적임을 시사합니다.
- 권장 액션: 실험
- 액션 근거: 제시된 최적화 패턴과 데이터 품질에 따른 일반화 효과를 내부 추론 모델 학습 파이프라인에서 검증할 가치가 있습니다.
원문 링크
- arXiv: https://arxiv.org/abs/2604.06628
- Hugging Face Papers: https://huggingface.co/papers/2604.06628