Lance는 이미지와 영상의 통합 이해, 생성, 편집을 지원하는 경량화된 모델입니다. 모델 용량 확장이나 텍스트-이미지 중심 설계 대신, 멀티태스크 협력 훈련을 통해 통합 멀티모달 모델링의 실용적인 방법을 모색합니다. Lance는 통합 컨텍스트 모델링과 분리된 기능 경로라는 두 가지 핵심 원칙에 기반합니다.
Lance는 공유된 교차 멀티모달 시퀀스에서 이중 스트림 Mixture-of-Experts 아키텍처를 사용하며, 단계별 멀티태스크 훈련을 통해 의미 이해와 시각적 생성 성능을 강화합니다. 실험 결과, Lance는 기존 오픈소스 통합 모델보다 이미지 및 비디오 생성 성능이 뛰어나고 강력한 멀티모달 이해 능력을 유지합니다.
모델에 대한 자세한 내용은 Lance 프로젝트 홈페이지 (https://lance-project.github.io)에서 확인할 수 있습니다.