Nvidia 연구진이 테스트 시간 학습(TTT) 기법을 통해 긴 컨텍스트 처리 성능을 향상시키는 연구를 발표했어요.
TTT는 모델이 컨텍스트 윈도우를 학습 데이터셋으로 활용하여 실시간으로 자체 가중치를 업데이트하는 방식으로 작동해요.
이 기법은 기존 모델의 메모리 병목 현상을 해결하고, 긴 컨텍스트 길이에 따른 속도 저하 없이 높은 정확도를 유지하도록 돕습니다.
연구진은 TTT-E2E가 풀 어텐션과 유사한 방식으로 확장 가능하며, 128K 컨텍스트에서 2.7배 빠른 추론 속도를 제공한다고 밝혔어요.