DeepSeek AI가 조건부 메모리 기술인 'Engram'을 발표하며, 기존 MoE 방식의 한계를 극복하고 LLM 성능을 향상시켰습니다. Engram은 N-gram 임베딩을 현대화하여 O(1) 조회 기능을 제공하며, 일반적인 추론 능력에서 최대 5.0% 향상을 보였습니다. 연구 결과, Engram은 네트워크 깊이를 심화시키고, 어텐션 용량을 확보하여 장문 컨텍스트 검색 성능을 97.0%까지 끌어올렸습니다.