연구진이 연관 기억을 활용한 트랜스포머(ARMT)를 제안하여 LLM의 컨텍스트 길이를 확장했어요. ARMT는 메모리 확장과 효율성을 개선하는 실용적인 접근 방식이에요. ARMT 기반 모델은 기존 컨텍스트 제한을 넘어서도 성능 저하 없이 입력을 처리하고, 다양한 컨텍스트 길이에 더 효과적으로 일반화돼요. 기존 성능을 유지하면서 FLOPs를 30% 줄이는 효과를 보여줘요.