논문 정보
- 날짜:
2026-03-26
- 카테고리: -
- 우선순위 점수: 1.3
핵심 요약
LLM의 자기 증류(Self-distillation) 과정에서 추론 과정이 단축됨에 따라 수학적 추론 성능이 최대 40%까지 하락할 수 있음을 발견했습니다. 이러한 성능 저하의 원인은 모델이 불확실성을 표현하는 ‘인식적 언어화(epistemic verbalization)‘가 억제되기 때문인 것으로 분석되었습니다. 교사 모델이 풍부한 정보에 기반해 불확실성을 숨기면 특정 도메인 최적화에는 유리하나, 새로운 문제(OOD)에 대한 대응력은 약화됩니다.
학습자 관점 포인트
- 우리 팀 영향: 추론 모델의 효율화를 위해 응답 길이를 줄이는 시도가 오히려 모델의 불확실성 판단 능력을 저해하여 일반화 성능을 낮출 수 있음을 시사합니다.
- 권장 액션: 실험
- 액션 근거: 현재 진행 중인 추론 모델 최적화 과정에서 응답 길이 단축이 추론 품질 및 OOD 성능에 미치는 부정적 영향을 검증할 필요가 있습니다.
원문 링크
학습자는 이 문서를 읽고 실험 여부를 바로 결정하세요.
