논문 정보
- 날짜:
2026-02-28
- 카테고리: -
- 우선순위 점수: 0.7
핵심 요약
RLVR 알고리즘에서 모든 오답을 동일하게 처벌하는 방식이 과신된 오류(Overconfident Errors)를 방치하여 모델의 추론 다양성을 저해한다는 점을 발견했습니다. 이를 해결하기 위해 오답의 확신도에 따라 패널티를 동적으로 조절하는 ACE(Asymmetric Confidence-aware Error Penalty) 기법을 제안합니다. 실험 결과, ACE는 기존 GRPO 및 DAPO 프레임워크와 결합하여 다양한 모델의 Pass@k 성능을 일관되게 향상시켰습니다.
학습자 관점 포인트
- 우리 팀 영향: 추론 모델 학습 시 오답에 대한 정교한 패널티 부여를 통해 모델의 추론 경계 확장과 생성 다양성 확보에 기여할 수 있습니다.
- 권장 액션: 실험
- 액션 근거: 기존 RLVR의 고질적인 문제인 다양성 감소를 해결할 수 있는 구체적인 방법론이며, 기존 프레임워크에 쉽게 통합 가능하다는 장점이 있습니다.
원문 링크
학습자는 이 문서를 읽고 실험 여부를 바로 결정하세요.
