연구진은 원격 감지 멀티모달 대규모 언어 모델(RS-MLLM)의 시나리오 특화 능력 향상을 위한 새로운 방법 '채우기 전 진전(FBA)'을 제안했어요.
FBA는 제한된 시나리오 데이터와 불완전한 능력 커버리지를 극복하기 위해, 먼저 필수 능력 격차를 채운 후 시나리오 특화 훈련을 진행하는 방식이에요.
연구진은 해안 항구 이해라는 대표적인 다중 소스 시나리오를 위해 세 단계의 감독 데이터셋인 CPRS를 구축하고, LLaVA-v1.5 모델의 성능을 HarborEval 벤치마크에서 57.95에서 70.29로 향상시켰어요.
연구 결과, FBA는 기존 방식 대비 우수한 성능을 보였으며, CPRS, HarborEval, 코드, 훈련 가중치 등이 GitHub에서 공개됐어요.