논문 정보
- 날짜:
2026-04-09
- 카테고리: -
- 우선순위 점수: 0.1
핵심 요약
본 논문은 밀집 검색 모델의 지식 증류 시 하드 네거티브에만 집중하는 기존 방식이 교사 모델의 전체적인 선호 구조 학습을 방해한다고 지적합니다. 이를 해결하기 위해 교사 모델의 점수 분포를 전체적으로 반영하는 층화 추출(Stratified Sampling) 전략을 제안합니다. 실험 결과, 교사 점수의 분산과 엔트로피를 보존하는 것이 도메인 내외의 검색 성능을 유의미하게 향상시킴을 입증했습니다.
학습자 관점 포인트
- 우리 팀 영향: 검색 모델 학습 시 하드 네거티브 샘플링에만 의존하기보다 교사 모델의 점수 분포를 다양하게 반영하는 샘플링 전략을 통해 모델의 일반화 성능을 개선할 수 있습니다.
- 권장 액션: 실험
- 액션 근거: 기존의 하드 네거티브 중심 학습 방식에서 벗어나 층화 추출을 통한 점수 분포 보존이 실제 검색 성능 향상에 기여하는지 내부 데이터로 검증할 가치가 있습니다.
원문 링크
학습자는 이 문서를 읽고 실험 여부를 바로 결정하세요.
