시각-언어 모델(VLM) 훈련 비용을 줄이기 위해 데이터 샘플링 기법이 활용돼요. 기존 방식은 데이터의 주제 분포를 조정하여 정확도를 높이지만, 희귀 개념이 충분히 반영되지 않는 문제가 있었어요.
연구진은 동적 클러스터 기반 샘플링 방식(DynamiCS)을 제안하여 큰 데이터 클러스터는 다운샘플링하고 작은 클러스터는 업샘플링하여 장기적인 개념을 강조했어요.
실험 결과, DynamiCS는 VLM 훈련 비용을 줄이고 장기적인 개념에 대한 성능 향상을 보여줬어요.