논문 정보
- 날짜:
2026-03-02
- 카테고리: -
- 우선순위 점수: 0.967
핵심 요약
투기적 디코딩(Speculative Decoding)의 속도 향상을 위해 기존 KL 발산 대신 수락률(Acceptance Rate)을 직접 최적화하는 LK 손실 함수를 제안합니다. 소형 드래프트 모델의 제한된 용량으로 인해 발생하는 KL 최적화와 수락률 간의 불일치 문제를 해결하며, 다양한 도메인에서 성능을 검증했습니다. 실험 결과, 기존 방식 대비 평균 수락 길이를 최대 8-10% 향상시키면서도 추가적인 연산 오버헤드가 없습니다.
학습자 관점 포인트
- 우리 팀 영향: 추가 연산 비용 없이 드래프트 모델의 수락률을 높여 LLM 추론 속도를 직접적으로 개선할 수 있는 효율적인 학습 방법론입니다.
- 권장 액션: 실험
- 액션 근거: 구현이 간단하고 기존 학습 프레임워크에 즉시 통합 가능하며, 다양한 모델 크기에서 일관된 성능 향상이 입증되었기 때문입니다.
원문 링크
학습자는 이 문서를 읽고 실험 여부를 바로 결정하세요.
