연구팀이 다양한 시각 정보(마스크, 깊이 지도 등)를 RGB 이미지로 통일하는 RINO(RGB In and RGB Out) 프레임워크를 발표했어요. RINO는 자연 이미지와 동일한 인코딩/디코딩 구조를 공유하며, 다양한 시각 작업을 RGB-to-RGB 이미지 편집 문제로 통합합니다. 이를 통해 단일 모델이 여러 작업에서 성능을 공유하며, 시각-언어 모델 통합에 기여할 것으로 기대됩니다.
RINO는 세분화된 이해 작업(세그멘테이션, 깊이 추정)과 조건부 생성 작업(포즈-이미지 생성)에서 뛰어난 제로샷 성능을 보였어요. 특정 작업에 대한 추가 튜닝 없이도 일반적인 이미지 편집 백본을 활용합니다. GitHub에서 관련 코드를 확인할 수 있습니다.
연구팀은 RINO가 다양한 시각 작업을 공유된 시각 언어를 통해 표현, 해석, 해결할 수 있는 통합 시각-언어 시스템 개발에 도움이 될 것으로 기대합니다.