논문 정보
- 날짜:
2026-04-07 - 카테고리: -
- 우선순위 점수: 0.767
핵심 요약
저하된 이미지(노이즈, 블러 등)가 멀티모달 모델의 이해 성능을 저해하는 문제를 해결하기 위해 생성과 추론 능력을 결합한 CLEAR 프레임워크를 제안합니다. 잠재 표현 브릿지와 Interleaved GRPO를 통해 생성된 시각적 정보가 텍스트 추론에 직접 기여하도록 최적화했습니다. 실험 결과, 깨끗한 이미지의 성능을 유지하면서도 저하된 입력에 대한 강건성을 크게 향상시켰습니다.학습자 관점 포인트
- 우리 팀 영향: 이미지 품질이 낮은 실환경 데이터에서도 멀티모달 모델의 추론 정확도를 높일 수 있는 생성 기반의 새로운 학습 방법론을 제공합니다.
- 권장 액션: 실험
- 액션 근거: 생성 모델의 잠재 표현을 추론에 직접 연결하는 방식이 저품질 이미지 처리 성능 향상에 유효한지 검증할 가치가 있습니다.
원문 링크
- arXiv: https://arxiv.org/abs/2604.04780
- Hugging Face Papers: https://huggingface.co/papers/2604.04780