연구진은 LLM의 장문 컨텍스트 성능 저하 원인을 입력 길이와 관련 정보 위치 외에 어휘 밀도라는 새로운 요인으로 밝혀냈습니다. 어휘 밀도가 높아질수록 LLM의 효과적인 컨텍스트 창이 줄어들며, 9B~685B 규모의 오픈 웨이트 LLM에서 성능이 급격히 저하되는 현상이 관찰됐습니다. 연구 결과는 정보가 밀집된 입력 데이터를 처리하는 LLM 시스템에 중요한 시사점을 제공합니다.