연구진이 RGB와 적외선 이미지를 함께 활용하는 원격 감지 비전-언어 모델 학습을 위한 FusionRS 데이터셋을 공개했어요.
FusionRS는 공개된 RGB 원격 감지 이미지를 적외선 스타일의 이미지로 변환하여 RGB-적외선 이미지 쌍을 만들고, 일반적인 장면 설명과 적외선 특징을 설명하는 캡션을 함께 제공해요.
FusionRS를 활용한 실험 결과, RGB-적외선 정렬, 적외선-텍스트 검색, 다중 모드 캡셔닝 성능이 향상되었으며, 적외선에 대한 텍스트 설명이 중요한 역할을 한다는 것을 확인했어요.