연구진은 긴 문맥 처리 효율성을 높이는 MATCH 프레임워크를 제안했어요. MATCH는 희소 어텐션에 동적으로 통합된 In-Context 정보를 활용해 성능을 개선합니다. 합성 데이터와 실제 자연어 작업에서 기존 모델보다 성능이 향상됐어요.
MATCH는 기존 방식의 구조적 제약 없이도 장거리 기억 능력을 유지하며 효율성을 높여줘요. In-Context 검색 능력을 향상시키는 일반적인 접근 방식으로 활용될 수 있어요.
연구 결과, MATCH는 희소 어텐션 모델의 성능을 크게 향상시켜, LLM의 확장성과 실용적인 배포에 기여할 것으로 기대돼요.