TIDE는 모든 현대 LLM의 설계 결함을 개선하기 위해 제안되었습니다. 이는 입력 임베딩 레이어에서 토큰 인덱스를 한 번 조회한 후 영구적으로 버리는 방식입니다. TIDE는 EmbeddingMemory를 통해 토큰 인덱스를 컨텍스트 프리 의미 벡터로 매핑하고, 이를 모든 레이어에 주입합니다. TIDE는 이론적, 실증적으로 희귀 토큰 문제와 컨텍스트 붕괴 문제를 해결하고 다양한 언어 모델링 및 다운스트림 작업에서 성능을 향상시킵니다.