논문 정보
- 날짜:
2026-03-06
- 카테고리: -
- 우선순위 점수: 0.667
핵심 요약
OPSDC는 모델이 스스로 간결하게 추론하도록 가르치는 온폴리시 자기 증류 기법으로, 별도의 정답지나 토큰 예산 없이 ‘간결하게 하라’는 지시어만으로 학습합니다. 이 방식은 쉬운 문제는 공격적으로 압축하고 어려운 문제는 숙고 과정을 유지하며, Qwen3 모델 기준 MATH-500 데이터셋에서 약 58%의 토큰을 절감했습니다. 불필요한 추론 토큰이 오히려 오류를 유발한다는 점에 착안하여, 압축과 동시에 정확도를 9~16점 향상시키는 성과를 보였습니다.
학습자 관점 포인트
- 우리 팀 영향: 추론 모델의 연산 비용을 절반 수준으로 줄이면서도 성능을 높일 수 있어 효율적인 추론 엔진 구축에 기여할 수 있습니다.
- 권장 액션: 실험
- 액션 근거: 정답 레이블 없이도 모델의 자체 로짓을 활용해 추론 효율성과 정확도를 동시에 개선했다는 수치가 고무적이므로 재현 실험이 필요합니다.
원문 링크
학습자는 이 문서를 읽고 실험 여부를 바로 결정하세요.
