논문 정보
- 날짜:
2026-03-01
- 카테고리: -
- 우선순위 점수: 0.7
핵심 요약
LLM의 추론 능력을 강화하는 RLVR 과정에서 발생하는 과도한 확신(Overconfident) 오류가 생성 다양성을 저해하는 문제를 지적합니다. 이를 해결하기 위해 오답 경로의 확신도 변화를 측정하여 부정적 이득을 동적으로 조절하는 ACE(Asymmetric Confidence-aware Error Penalty) 기법을 제안합니다. 실험 결과, Qwen 및 Llama 모델에서 Pass@k 성능을 전반적으로 향상시키며 기존 방법론과도 잘 결합됨을 확인했습니다.
학습자 관점 포인트
- 우리 팀 영향: 추론 모델 학습 시 오답에 대한 일률적 패널티 대신 확신도 기반의 차등 패널티를 적용하여 모델의 탐색 효율과 성능을 동시에 개선할 수 있습니다.
- 권장 액션: 실험
- 액션 근거: 기존 GRPO 등 RLVR 프레임워크에 쉽게 통합 가능하며, 추론 모델의 고질적인 문제인 다양성 저하를 해결할 가능성이 높기 때문입니다.
원문 링크
학습자는 이 문서를 읽고 실험 여부를 바로 결정하세요.
