연구진이 선형 어텐션 모델의 기억력 문제를 해결하기 위해 HOLA(Hippocampal Linear Attention)를 제안했어요. HOLA는 기존 순환 상태 메모리와 함께 정확한 키-값(KV) 캐시를 추가하여 정보 손실을 줄여요.
HOLA는 340만 파라미터로 학습되어 Wikitext 퍼플렉시티를 27.32에서 22.92로 감소시키고, Transformer++보다 뛰어난 성능을 보여줬어요.
HOLA는 RULER 테스트에서 최대 32,000 토큰까지 정확한 정보 검색 능력을 유지하며, 기존 방식보다 훨씬 강력한 성능을 발휘했어요.