PRX 팀이 모델 훈련에 사용한 데이터 구축 전략을 상세히 설명하는 기술 문서입니다. 다양한 공개 및 내부 데이터셋을 혼합하고, VLM을 활용해 이미지 재설명(re-captioning)하는 방식으로 훈련 데이터를 구축했습니다.
데이터 형식으로는 Lance를 활용해 데이터 탐색 및 기능 엔지니어링을 수행하고, Mosaic Data Shards(MDS)를 통해 효율적인 분산 훈련을 지원했습니다. MDS는 데이터의 유연성이 낮다는 단점이 있어 Lance를 보완적으로 사용했습니다.
데이터 필터링은 최대한 가볍게 진행하여 모델이 다양한 시각적 요소를 학습하도록 유도했으며, 정확한 캡션을 통해 이미지 내의 노이즈를 제어하고 모델이 특정 속성을 제어하도록 훈련했습니다.