연구진이 MLLM의 파노라마 공간 추론 능력을 평가하는 벤치마크 'OmniCoT'를 공개했어요. OmniCoT는 6,700개 데이터셋(OmniCoT-B)로 정확도와 추론 품질을 측정하고, 실제 환경 데이터셋(OmniCoT-Real)으로 현실 적용 가능성을 평가해요.
OmniCoT-T는 14,300개 데이터셋으로 구성되며, 파노라마 증거와 연결된 단계별 Chain-of-Thought 주석을 포함해 MLLM의 추론 과정을 명확하게 보여줘요.
연구진은 OmniCoT-R1 모델을 개발하고, 파노라마 공간의 기하학적 복잡성을 고려한 2단계 학습 전략을 적용해 파노라마 증거에 추론을 고정하고, 기하학적으로 일관성 없는 경로를 제재했어요.