연구팀이 분리된 데이터셋에서 장면 깊이, 표면 법선, 의미 분할 등 8가지 속성을 통합 예측하는 비디오 모델 'UniD'를 공개했어요. 기존 방식의 한계를 극복하기 위해, 각 작업별 전문가가 가벼운 작업 프로젝터를 통해 통합 백본을 지도하는 증류 단계를 제안했어요.
UniD는 기존 방식 대비 성능이 뛰어나고, 훈련 데이터에 없는 장면-작업 조합에서도 강력한 일반화 능력을 보여줘요. 특히, 사전 훈련된 확산 모델의 강력한 시각적 사전 지식을 활용해 분리된 훈련 데이터 간의 격차를 해소했어요.
코드와 비디오 결과는 GitHub에서 확인할 수 있으며, 장면-작업 조합에 대한 시간적, 교차 작업 일관성을 향상시키는 데 기여할 것으로 기대돼요.