TAPIOCA 연구는 작업 인지 기반 레이어 가지치기가 특정 작업 성능을 향상시킨다는 기존 연구를 검증했어요. 실험 결과, 작업 내 데이터에서는 성능 향상이 없지만 작업 외 데이터(OOD) 정확도는 꾸준히 향상되는 것을 확인했어요.
OOD 입력은 작업 내 데이터와 다른 표현 프로필을 보여주며, 작업 인지 기반 가지치기는 이러한 왜곡을 유발하거나 증폭하는 레이어를 제거하여 OOD 입력의 표현을 재정렬합니다.
연구는 분포 변화 및 잔차 스케일링 개입을 통해 원인-결과 관계를 입증하고, 다양한 모델 규모에서 일관된 현상을 보였습니다.