NVIDIA가 Cosmos Predict 2.5 모델을 로봇 비디오 생성에 활용하기 위해 LoRA/DoRA 기술을 사용한 파인튜닝 방법을 공개했어요. 이를 통해 실제 로봇 데이터를 수집하는 데 드는 비용과 시간을 절약할 수 있습니다.
LoRA/DoRA는 기존 모델의 가중치를 동결하고 작은 어댑터 모듈을 학습시켜 메모리 요구량을 줄이고, 다양한 도메인에서 쉽게 적용할 수 있도록 해줍니다.
92개의 로봇 조작 비디오 데이터셋을 활용하여 파인튜닝을 진행했으며, 50개의 테스트 데이터셋으로 성능을 평가했습니다. 이 방법은 단일 GPU에서도 가능하며, 8개의 H100 GPU를 사용하면 더욱 빠른 반복이 가능합니다.