연구진은 LLM과 VLM이 시각 정보 없이 시점 회전을 이해하는 능력을 분석하는 연구를 진행했어요. 텍스트 설명만으로 환경 내 시점과 관찰 결과를 예측하는 방식으로 실험을 진행했죠.
실험 결과, LLM과 VLM은 인간에 비해 성능이 현저히 떨어졌으며, 시점 정보를 인코딩하지만 관찰 결과와 연결하는 데 어려움을 겪는 것으로 나타났어요. 이는 모델의 환각 현상으로 이어지는 문제점을 보여줍니다.
연구진은 핵심 주의 집중 메커니즘을 선택적으로 미세 조정하여 VRU 성능을 개선했고, 일반적인 능력 손실 없이 성능 향상을 달성했어요. 연구 결과는 ACL 2026에서 발표되었으며, 데이터셋과 코드는 공개될 예정입니다.