연구진이 텍스트와 이미지를 자유롭게 혼합해 생성하는 ILLUME-X 모델을 공개했어요. ILLUME-X는 다중 모드 데이터 효율성을 높이고 훈련 과정을 안정화하는 데 초점을 맞췄어요. 스타일 변환, 이미지 분해, 스토리텔링 등 다양한 작업에서 기존 모델보다 뛰어난 성능을 보여요.
ILLUME-X는 훈련 데이터 파이프라인 확장, 자유 길이 다중 모드 토큰 시퀀스를 위한 점진적 훈련 전략, ILScore 평가 방법 3가지 핵심 요소로 구성돼요. 특히, ILLUME-X는 스타일 변환, 이미지 분해, 스토리텔링 등 다양한 작업에서 기존 모델보다 뛰어난 성능을 보여요.
연구진은 ILLUME-X를 통해 텍스트와 이미지를 자유롭게 혼합하는 생성 AI 모델의 성능을 한 단계 끌어올렸다고 설명했어요.