연구진은 시각 언어 내비게이션(VLN)의 한계를 극복하기 위해 인스턴스 강화 시맨틱 맵(Instance-Enriched Semantic Maps, IESM) 프레임워크를 제안했어요.
IESM은 색상과 깊이 정보를 활용한 2.5D 맵을 구축하여 수직 구분과 작은 물체 포착을 가능하게 하고, 방 수준의 맥락으로 풍부한 자연어 설명을 저장해요.
IESM은 LLM 기반 목표 선택을 통해 다양한 사용자 쿼리에 대한 목표 선택 일관성을 높이고, 기존 3D 방식 대비 예측 정확도와 내비게이션 성공률을 각각 27%, 23% 향상시켰어요.