논문 정보
- 날짜:
2026-04-02 - 카테고리: -
- 우선순위 점수: 0.767
핵심 요약
별도의 검증기나 교사 모델 없이 모델 자신의 출력물만으로 파인튜닝하는 단순 자기 증류(SSD) 기법을 제안합니다. Qwen3-30B-Instruct 모델에서 LiveCodeBench 성능을 42.4%에서 55.3%로 향상시켰으며, 특히 난이도가 높은 문제에서 큰 효과를 보였습니다. 이 방법은 토큰 분포를 문맥에 맞게 재구성하여 정밀도가 필요한 부분의 노이즈를 억제하고 유용한 다양성을 유지합니다.학습자 관점 포인트
- 우리 팀 영향: 추가 데이터나 복잡한 RLHF 없이도 기존 모델의 코드 생성 성능을 효율적으로 개선할 수 있는 파이프라인 구축이 가능합니다.
- 권장 액션: 실험
- 액션 근거: 구현이 매우 간단하면서도 다양한 규모의 모델에서 일관된 성능 향상을 입증했으므로 내부 코드 모델에 적용해 볼 가치가 높습니다.
원문 링크
- arXiv: https://arxiv.org/abs/2604.01193
- Hugging Face Papers: https://huggingface.co/papers/2604.01193