논문 정보
- 날짜:
2026-04-12 - 카테고리: -
- 우선순위 점수: 0.733
핵심 요약
모델의 특정 능력은 저차원 잠재 부분공간의 방향성에 대응하며, 이를 선형 정렬을 통해 타 모델로 전이할 수 있다는 ‘마스터 키 가설’을 제안합니다. 별도의 학습이나 레이블 없이 활성화 값의 대조를 통해 능력을 추출하고 타겟 모델에 적용하는 UNLOCK 프레임워크를 개발했습니다. 실험 결과, Qwen 모델군 내에서 추론 능력을 전이했을 때 MATH 데이터셋 등에서 유의미한 성능 향상을 확인했습니다.학습자 관점 포인트
- 우리 팀 영향: 추가 학습 비용 없이 모델 간 추론 능력을 전이할 수 있어, 소형 모델의 성능을 효율적으로 개선하는 데 기여할 수 있습니다.
- 권장 액션: 실험
- 액션 근거: 학습 없이 선형 변환만으로 모델 성능을 개선할 수 있다는 점이 효율적이며, 내부 모델 간의 능력 전이 가능성을 검증할 가치가 높습니다.
원문 링크
- arXiv: https://arxiv.org/abs/2604.06377
- Hugging Face Papers: https://huggingface.co/papers/2604.06377