트랜스포머 기반 임베딩 모델은 긴 시퀀스에 대한 활용을 제한하는 2차원 계산 복잡도와 선형 메모리 복잡도를 겪고 있어요.
Mamba2 모델을 미세 조정하여 순환 아키텍처를 효율적인 대안으로 제시하고, 수직 청킹 추론 전략을 도입하여 입력 길이를 초과하는 수직 청크 크기에서 메모리 사용량이 상수로 유지되도록 했어요.
Mamba2, RWKV, xLSTM 모델에 대한 실험적 검증을 통해 순환 모델이 효율적인 임베딩 생성을 위한 트랜스포머의 매력적인 대안임을 확인했어요.