본 연구는 텍스트 기반 360도 파노라마 세계 생성 가능성이 높아짐에 따라, 생성된 콘텐츠의 의미론적 일관성을 평가하는 데 필요한 기술적 격차를 다룹니다.
CLIP 모델이 360도 파노라마 이미지-텍스트 쌍의 특징을 얼마나 잘 이해하는지 분석하기 위해 새로운 평가 방법론을 제시하고, 텍스트 식별자 활용 능력은 뛰어나지만 회전 변환에 취약하다는 점을 밝혀냈습니다.
회전 불변성을 학습하는 LoRA 기반 미세 조정 프레임워크를 제안하여 360도 시각적 의미 이해도를 개선했지만, 기존 평가 성능 저하라는 어려움도 확인했습니다.