연구진이 텍스트와 이미지를 자유롭게 혼합해 생성하는 ILLUME-X 모델을 공개했어요. ILLUME-X는 다중 모드 데이터 효율성을 높이고 훈련 과정을 안정화하는 데 초점을 맞췄어요. 스타일 변환, 이미지 분해, 스토리텔링 등 다양한 작업에서 기존 모델보다 뛰어난 성능을 보여요.
ILLUME-X는 세 가지 핵심 요소로 구성돼요. 첫째, 혼합 텍스트·이미지 생성에 최적화된 훈련 데이터 파이프라인, 둘째, 자유 길이 다중 모드 토큰 시퀀스에 대한 자가 적응적 목표를 가진 점진적 훈련 전략, 셋째, 혼합 텍스트·이미지 시퀀스에 대한 ILScore 평가 방법이에요.
연구진은 ILLUME-X를 통해 다중 모드 지능의 다음 단계를 밟을 수 있을 것으로 기대하며, 향후 더 복잡한 작업에 활용될 가능성을 제시했어요.