연구진은 Engram 모듈이 이미지 생성에서 메모리 검색처럼 작동하는지 조사했습니다. Engram 모듈은 Transformer 레이어에 삽입되어 반복되는 패턴을 빠르게 찾아내는 역할을 합니다.
ImageNet 데이터셋으로 학습된 AR 이미지 생성기에 Engram 모듈을 적용했지만, 성능이 오히려 저하되었으며, 단순히 FLOPs를 절약하는 역할만 하는 것으로 나타났습니다.
Engram 모듈의 작동 방식을 분석한 결과, 콘텐츠 기반 검색보다는 게이티드 아키텍처의 일종으로 작동하며, 학습된 테이블은 분포를 미세하게 조정하는 데만 기여하는 것으로 확인되었습니다.