연구진이 지속적 쿼리 기반 제한 메모리 언어 모델(CO-LMLM)을 제안했어요. CO-LMLM은 기존 LMLM과 달리 텍스트 지식 값을 지속적인 키와 연결하는 방식을 사용해요.
CO-LMLM은 인간이 읽고 이해하기 쉬운 지식을 검색하여 생성 과정에 통합하며, 무료 형식의 사실 스팬을 태그하는 파이프라인을 활용해요.
Wikipedia와 FineWeb-Edu 데이터셋으로 사전 훈련한 결과, CO-LMLM은 기존 LMLM과 일반 LLM을 능가하는 성능을 보여줬으며, 360M 규모에서 GPT-4o-mini와 유사한 성능을 기록했어요.