연구진은 691개의 스위트 페퍼 식물에 대한 새로운 이미지 시계열 데이터셋을 공개했어요. 이 데이터셋은 두 개 재배 시즌 동안 4837장의 이미지와 각 식물별 수확량 데이터를 포함하고 있어요.
DinoV3 인코더로 추출한 이미지 특징과 수량 측정 데이터를 융합하는 다중 모드 딥러닝 프레임워크를 제안했어요. LSTM 네트워크를 활용해 시간 의존성을 모델링하고, 불규칙한 샘플링 간격을 처리합니다.
실험 결과, 다중 모드 접근 방식은 기존 방식 대비 RMSE를 2022년과 2023년에 각각 33%와 38% 감소시켰고, 측정값만 사용한 모델보다 평균 1.2%의 성능 향상을 보였어요.
Deep Ensembles와 Gaussian NLL을 활용해 불확실성 추정치를 제공했으며, 시즌 간 평가 방향에 따라 UCE는 0.39에서 0.89 사이의 값을 보였어요.