연구진은 텍스트-이미지 생성 시스템에서 LLM의 활용 범위를 넓히기 위해 표현 자동 인코더(RAE) 기반 접근법인 RepFusion을 제안했어요.
RepFusion은 멀티모달 LLM(MLLM)을 활용하여 노이즈가 있는 표현을 인코딩하고, 이를 디퓨전 트랜스포머의 컨디셔닝 신호로 사용해요.
실험 결과, RepFusion은 기존 방식 대비 유사한 연산 예산 내에서 더 나은 성능을 보여주며, MLLM이 시각 표현 노이즈 제거에 강력한 사전 지식을 제공함을 입증했어요.