논문 정보
- 날짜:
2026-04-11 - 카테고리: -
- 우선순위 점수: 5.2
핵심 요약
추론 SFT가 암기만 한다는 기존 통념과 달리, 최적화 과정과 데이터 품질 및 모델 역량에 따라 도메인 간 일반화가 가능함을 입증했습니다. 학습 초기 성능이 하락했다가 회복되는 패턴이 발견되었으며, 검증된 긴 CoT 데이터는 다른 도메인의 추론 능력까지 향상시키는 것으로 나타났습니다. 다만 추론 능력 향상이 안전성 저하를 동반하는 비대칭적 일반화 양상을 보였습니다.학습자 관점 포인트
- 우리 팀 영향: SFT 단계에서 충분한 최적화와 고품질 CoT 데이터를 확보함으로써 범용적인 추론 성능 향상을 꾀할 수 있으나 안전성 약화에 대한 대비가 필요합니다.
- 권장 액션: 실험
- 액션 근거: 학습 체크포인트 선정 시점에 따른 일반화 성능의 왜곡 가능성을 확인하고 CoT 데이터의 전이 효과를 직접 검증할 가치가 있습니다.
원문 링크
- arXiv: https://arxiv.org/abs/2604.06628
- Hugging Face Papers: https://huggingface.co/papers/2604.06628