연구진이 드론의 자가 인식과 환경 이해 능력을 평가하는 새로운 벤치마크 'UAV-DualCog'를 공개했어요. 기존 벤치마크는 장면 이해나 항법에 집중했지만, 이번 벤치마크는 멀티뷰 시공간 맥락에서 드론의 상태와 환경을 함께 추론하는 능력을 평가해요.
UAV-DualCog는 이미지와 비디오 작업을 통해 자가 상태와 환경 상태 추론을 공동으로 평가하며, 공간적 또는 시간적 기반을 요구해요. 자동화된 파이프라인을 통해 수천 개의 QA 샘플을 생성하고, 다양한 장면과 수백 개의 랜드마크를 포함하는 확장 가능한 벤치마크를 구축했어요.
현재 LLM은 UAV의 이중 인지 능력에서 신뢰성이 부족하며, 자가 상태 추론, 시점 변환, 정확한 공간적 기반, 시간 간격 지역화가 주요 병목 현상으로 나타났어요. 벤치마크는 인간에게 이해 가능하지만 기존 모델에게는 여전히 어렵다는 것을 확인했어요.