NVIDIA의 Nemotron-3-Super-120B 모델이 Mamba 레이어를 활용해 50만 토큰까지 완벽한 니들 검색 성능을 보여줬어요. Mamba 레이어는 고정 크기 상태를 유지하여 컨텍스트 증가에 따른 KV 캐시 비용을 줄여 성능 저하를 막아줘요. 4개의 RTX 3090 GPU에서 71GB 모델을 실행했으며, 50만 토큰 디코딩 속도는 23토큰/초로, 기존 모델 대비 2.7배 빠른 속도를 기록했어요.