연구진이 저렴한 비용으로 미세한 시각적 인지 능력을 달성하는 SigLIP-HD를 발표했어요. 미세 조정된 감독 방식을 통해 중간 해상도 이미지의 거친 특징을 고해상도 이미지의 미세한 특징과 유사하게 만들어요. SigLIP 2 모델을 기반으로 구축되었으며, 기존 모델과 동일한 추론 예산으로 더 나은 시각적 토큰을 생성해요.
SigLIP-HD는 광범위한 MLLM 벤치마크에서 검증되었으며, 특히 OCR 관련 작업에서 더 강력한 성능을 보여줘요. 고해상도 이미지를 사용하지 않고도 모델의 인지 능력을 최대한 활용할 수 있음을 입증했어요.
기존 방식 대비 추가적인 계산 복잡성 없이 고품질 시각적 표현을 가능하게 하는 새로운 프레임워크로, MLLM 성능 향상에 기여할 것으로 기대돼요.