멀티모달 LLM은 명령 튜닝을 통해 강력한 성능을 보이지만, 실제 배포를 위해서는 지속적으로 새로운 시각-언어 능력을 습득해야 합니다.
최근 방법들은 작업 간 간섭을 줄이고 협업을 촉진하기 위해 Mixture of LoRA Experts와 같은 희소 아키텍처를 사용하지만, 서로 다른 응답 구조를 가진 작업은 잘못 라우팅될 수 있습니다.
ProtoAda는 작업 의미와 출력 구조를 모두 고려하여 작업 할당 및 라우팅을 정렬하는 형식 인식 작업 프로토타입을 도입하고, 기존 파라미터를 효과적으로 재사용하고 점진적으로 개선하기 위해 기하학적으로 호환 가능한 업데이트를 통합합니다.
다양한 벤치마크 실험 결과, ProtoAda는 특히 응답 구조가 순차적 튜닝으로 쉽게 손상되는 작업에서 뛰어난 성능을 달성했습니다.