연구진은 인간 뇌의 기억 통합 과정을 모방하여 새로운 신경망 메모리 아키텍처인 HMM(Hierarchical Memory Module)을 제안했습니다.
HMM은 추상적인 지식을 담은 저주파 모듈과 상세한 정보를 담은 고주파 모듈로 구성되어 있으며, 테스트 시간에 온라인 메모리 통합을 수행하는 Mela 모델에 통합되었습니다.
실험 결과, Mela는 Transformer 기반 모델보다 뛰어난 성능을 보였으며, 특히 긴 문맥에서 성능 저하 없이 안정적인 결과를 유지했습니다.