연구진이 LLM의 피드포워드 모듈(FFN) 해석 가능성을 높이는 MemoryLLM을 제안했어요. MemoryLLM은 FFN을 셀프 어텐션과 분리해 토큰 단위의 신경망 검색 메모리로 활용할 수 있도록 설계됐어요. 연구 결과, 입력 토큰이 FFN 파라미터 내 메모리 위치에 접근하는 방식과 다양한 작업에서 FFN 메모리의 중요성을 파악할 수 있었어요.