연구진은 압축과 적응을 순차적으로 수행하는 기존 방식의 한계를 극복하기 위해 JACTUS(Joint Adaptation and Compression with a Task-aware Union of Subspaces)라는 새로운 프레임워크를 선보였습니다.
JACTUS는 입력 및 사전 활성화 기울기 공분산을 추정하고, 사전 훈련된 가중치 부분 공간과 직교 합집합을 형성하여 저랭크 근사를 수행하고, 전역적으로 매개변수당 한계 이득을 기준으로 순위를 할당합니다.
JACTUS는 이미지 인식에서 89.2%의 정확도를, 언어 모델에서는 80.9%의 정확도를 달성하며, 기존 방식보다 뛰어난 성능을 보였습니다.