연구진은 대규모 언어 모델의 긴 컨텍스트 추론 병목 현상을 해결하기 위해 풀 어텐션을 희소 모델로 변환하는 RTPurbo 방법을 제안했어요.
RTPurbo는 모델의 내재적 희소성을 활용하여 풀 어텐션 모델을 최소한의 학습 단계로 고도로 희소화하며, 16차원 인덱서를 통해 장거리 정보 검색을 효율적으로 처리해요.
실험 결과, RTPurbo는 최대 9.36배의 프리필 속도 향상과 2.01배의 디코딩 속도 향상을 달성하며, 거의 손실 없는 정확도를 유지했어요.