AlphaWiSE는 다중 모드 모델의 지속적인 적응 시 교차 모드 정렬 문제를 해결하는 새로운 방법입니다. 두 개의 고정된 체크포인트를 활용하여 가중치 공간에서 보간을 수행하며, 각 파라미터 텐서에 대한 스칼라 보간 계수를 공유합니다.
작은 예제 메모리를 사용하여 보간 계수를 조정하고, 이를 통해 하나의 보간 체크포인트를 생성합니다. 기존 체크포인트와 동일한 구조와 파라미터 수를 유지하여 추론 시간을 늘리지 않습니다.
오디오-이미지-텍스트 검색 실험에서 기존의 지속적인 학습 방법보다 성능이 향상된 것으로 나타났습니다.