연구진은 이미지 이해와 생성을 통합하는 다중 모드 모델의 성능 향상을 위해 Semantic Generative Tuning (SGT) 기술을 개발했어요. SGT는 이미지 분할을 생성적 프록시로 활용하여 시각적 이해와 생성을 연결하고 시너지 효과를 창출하는 방식이에요.
기존 방식은 시각적 이해와 생성을 분리하여 훈련했지만, SGT는 이미지 분할과 같은 고수준의 의미론적 작업을 통해 모델의 성능을 향상시켰어요. 이미지 분할은 모델이 불필요한 텍스처 디테일에 집중하는 것을 막고 구조적인 의미론적 정보를 제공해요.
SGT는 이미지 이해 능력과 생성 품질을 모두 향상시켜 주요 벤치마크에서 우수한 성능을 보였으며, 관련 코드도 공개됐어요.