연구진은 시각 장애인의 안전한 도시 환경 이동을 돕기 위해, 시각-언어 모델(VLM) 기반의 질문-답변(VQA) 시스템을 활용한 위험 예측 내비게이션 프레임워크를 제안했습니다.
개발된 프레임워크는 세 단계의 계층적 쿼리 구조를 통해 다양한 환경에서 세밀한 장면 이해를 가능하게 하며, 특정 작업에 대한 재훈련 없이도 활용할 수 있습니다.
연구진은 20개 도시의 800개 이미지와 18,000개의 질문-답변 데이터로 구성된 새로운 데이터셋을 공개하고, Qwen-VL 모델이 다른 모델보다 우수한 성능을 보였다고 밝혔습니다.