연구진이 장문 컨텍스트 언어 모델링을 위해 PCAF(Parallel Causal Associative Field)라는 새로운 모델을 제안했어요. PCAF는 과거 기록을 해시 버킷에 저장하고, 현재 쿼리에 대한 후보 집합을 검색하여 희소 캐시 분포를 형성하는 방식이에요.
303M 파라미터, 2048 컨텍스트 길이에서 PCAF-semantic은 WikiText-103에서 36.31 퍼플렉시티, PG-19에서 52.45 퍼플렉시티를 기록하며, 동일한 크기의 Transformer보다 성능이 향상됐어요.
PCAF는 0.61~0.62M 토큰/초 처리 속도를 보여, 기존의 밀집(dense) 방식보다 훨씬 빠른 속도를 냈으며, 다양한 실험을 통해 성능 향상에 기여하는 요소들을 확인했어요.