MILE은 도메인 및 모달리티 변환 지속적 의미 분할을 위한 새로운 프레임워크입니다. 이 프레임워크는 기존 정보를 덮어쓰지 않으면서 새로운 작업에 가벼운 전문가를 생성하기 위해 LoRA(Low-Rank Adaptation)를 활용합니다.
MILE은 전문가 기반 학습의 이점을 제공하면서 확장성 제한을 극복하며, 각 작업에 대해 소량의 파라미터 증가만 필요로 합니다.
프로토타입 기반 게이팅 메커니즘은 추론 시 가장 적절한 전문가를 동적으로 선택하며, 도메인 및 모달리티 증분 벤치마크에서 강력한 성능을 보여줍니다.