연구진은 하이퍼스펙트럴 이미지를 포함한 다중 센서 지구 관측 사전 훈련 모델 'SpectralEarth-FM'을 개발했어요. 이 모델은 하이퍼스펙트럴 데이터의 스펙트럼 토큰화와 다양한 센서 데이터를 융합하는 계층적 트랜스포머 아키텍처를 사용합니다.
SpectralEarth-FM 사전 훈련을 위해 연구진은 EnMAP, EMIT, DESIS 하이퍼스펙트럴 데이터와 Sentinel-2, Landsat, Sentinel-1 데이터를 결합한 대규모 데이터셋 'SpectralEarth-MM'을 구축했어요. 이 데이터셋은 전 세계 200만 개 위치, 2500만 개 패치, 40TB 이상의 데이터를 포함합니다.
SpectralEarth-FM은 JEPA 스타일의 학습 목표를 사용하여 전역 뷰와 단일 센서 로컬 뷰 간의 표현을 일치시키며, 하이퍼스펙트럴 다운스트림 작업과 표준 지구 관측 벤치마크에서 최고 성능을 달성했어요.