연구팀이 이미지 생성과 예측을 통합하는 프레임워크 UniGP를 공개했어요. MMDiT 기반으로 간단한 공동 훈련을 통해 두 작업을 통합하며, 복잡한 작업별 설계나 손실 함수가 필요 없어요.
UniGP는 다양한 조건에서 제어 가능한 생성과 예측을 학습하여 이미지-기하학 쌍의 공동 분포를 효과적으로 파악하며, 이미지 생성, 밀집 예측, 공동 생성 등 다양한 작업을 수행할 수 있어요.
연구 결과, UniGP는 기존 통합 방식보다 뛰어난 성능을 보이며, 전문적인 방법과 동등한 수준을 달성했으며, 생성 사전 지식이 시각적 디테일을 풍부하게 하고, 시각적 학습은 생성의 구조적 정렬을 개선하는 상호 보완적 이점을 제공하는 것으로 나타났어요.
연구팀은 Occam's razor 원칙에 따라 MMDiT의 이미지 분기만 복사하여 밀집 분포를 모델링하고, 다양한 데이터 세트를 통합하여 생성 및 인식 작업을 공동으로 모델링하는 훈련 전략을 사용했어요.