논문 정보
- 날짜:
2026-03-24
- 카테고리: -
- 우선순위 점수: 1.3
핵심 요약
Perceptio는 대형 시각 언어 모델(LVLM)의 공간 추론 능력을 강화하기 위해 2D 세그멘테이션 및 3D 깊이 토큰을 직접 생성하는 방식을 제안합니다. VQ-VAE를 통해 깊이 정보를 토큰화하고 SAM2 기반의 세그멘테이션 토큰을 통합하여 모델이 답변 전 공간적 사고 과정을 거치도록 설계되었습니다. 이를 통해 RefCOCO 및 HardBLINK 등 주요 벤치마크에서 공간 이해 성능이 유의미하게 향상되었습니다.
학습자 관점 포인트
- 우리 팀 영향: 시각 언어 모델에 명시적인 공간 토큰 생성 단계를 도입함으로써 정밀한 객체 인식 및 거리 추론이 필요한 서비스의 정확도를 높일 수 있습니다.
- 권장 액션: 실험
- 액션 근거: 공간적 Chain-of-Thought를 통한 성능 향상이 입증되었으므로, 기존 LVLM 파이프라인에 깊이 및 세그멘테이션 토큰 생성 로직을 적용하여 성능 개선 여부를 확인할 가치가 있습니다.
원문 링크
학습자는 이 문서를 읽고 실험 여부를 바로 결정하세요.
